[論文レビュー] Balanced Distribution Adaptation for Transfer Learning

Jindong Wang, Yiqiang Chen+3 more|arXiv (Cornell University)|Jul 2, 2018

Domain Adaptation and Few-Shot Learning参考文献 16被引用数 23

ひとこと要約

本稿では、転移学習のためのバランスドディストリビューションアダプテーション（BDA）とウェイトドBDA（W-BDA）を提案する。BDAは、マージナル分布と条件付き分布のずれを適応的にバランスさせるとともに、クラス不均衡に対処する。BDAはバランス要因μを用いて分布のずれを動的に重み付けし、両者に等しい重みを割り当てる手法よりも優れた性能を発揮する。W-BDAは、クラス固有の重みを適応的に組み込むことで、不均衡なデータセットにおける性能をさらに向上させる。

ABSTRACT

Transfer learning has achieved promising results by leveraging knowledge from the source domain to annotate the target domain which has few or none labels. Existing methods often seek to minimize the distribution divergence between domains, such as the marginal distribution, the conditional distribution or both. However, these two distances are often treated equally in existing algorithms, which will result in poor performance in real applications. Moreover, existing methods usually assume that the dataset is balanced, which also limits their performances on imbalanced tasks that are quite common in real problems. To tackle the distribution adaptation problem, in this paper, we propose a novel transfer learning approach, named as Balanced Distribution \underline{A}daptation~(BDA), which can adaptively leverage the importance of the marginal and conditional distribution discrepancies, and several existing methods can be treated as special cases of BDA. Based on BDA, we also propose a novel Weighted Balanced Distribution Adaptation~(W-BDA) algorithm to tackle the class imbalance issue in transfer learning. W-BDA not only considers the distribution adaptation between domains but also adaptively changes the weight of each class. To evaluate the proposed methods, we conduct extensive experiments on several transfer learning tasks, which demonstrate the effectiveness of our proposed algorithms over several state-of-the-art methods.

研究の動機と目的

• マージナル分布と条件付き分布のずれを等しく扱う既存の転移学習手法の限界を是正し、現実世界のシナリオで最適でない性能を引き起こす問題に対処すること。
• 転移学習においてしばしば無視されがちなクラス不均衡問題に取り組む。特に、ソースドメインとターゲットドメインでクラス分布が不均衡であるとモデル性能が低下するという問題を解決すること。
• マージナル分布と条件付き分布のずれに適応的に重みを割り当てることで、複数の既存のドメイン適応手法を特別なケースとして統合する包括的なフレームワークBDAを構築すること。
• BDAを拡張し、クラス固有の重みを組み込んだW-BDAを提案することで、不均衡なデータセットにおける性能を向上させること。

提案手法

• 学習可能なバランス要因μを用いて、マージナル分布と条件付き分布のずれの寄与度を重み付する、新しい転移学習手法BDAを提案する。
• BDAを、マージナル分布と条件付き分布のずれの加重組み合わせを最小化する連合最適化問題として定式化する。ずれはMMD（Maximum Mean Discrepancy）で測定する。
• BDAの拡張として、分布適応プロセスにクラス固有の重みを組み込むW-BDAを導入する。不均衡なクラス分布に応じて動的に重みを調整する。
• W-BDAでは、クラス不均衡を適応的クラス重みで補正する重み付きMMD損失を用い、分布のずれを最小化する。
• BDAおよびW-BDAの最適化には勾配降下法を用い、特徴次元dや正則化λなどのハイパーパrameterを調整する。
• BDAがJDA（μ = 0.5のとき）やTCA（μ = 0のとき）を包含することを示し、その一般性と柔軟性を確認する。

実験結果

リサーチクエスチョン

• RQ1 ソースドメインとターゲットドメイン間のマージナル分布と条件付き分布のずれの重要性を適応的にバランスさせることで、転移学習の性能をどのように向上させられるか？
• RQ2 提案されたBDA手法は、既存のドメイン適応技術をどれだけ一般化し、現実世界の転移学習タスクにおいてそれらをどのように改善するか？
• RQ3 適応的クラス重みを用いて分布適応プロセスを変更することで、転移学習におけるクラス不均衡を効果的に扱えるか？
• RQ4 BDAにおけるバランス要因μが、ドメインのずれが異なるさまざまな転移学習タスクにおける性能にどのように影響を与えるか？
• RQ5 W-BDAは、標準的なBDAおよびJDAと比較して、不均衡なデータセットにおいて一貫して性能を向上させるか？

主な発見

• BDAは、評価されたすべての転移学習タスクでJDAやTCAを顕著に上回り、μをタスクごとに最適化することで最高の性能を達成する。これは、適応的バランスの重要性を示している。
• タスクA → Wでは最適なμが0.8であり、条件付き分布のずれが支配的であることを示唆する。一方、M → Uではμ = 0.1であり、マージナル分布のずれがより重要であることを示し、適応的重み付けの必要性を裏付けた。
• W-BDAは、4つの重度に不均衡なタスク（C→D、W→C、U→M、A→W）でBDAおよびJDAを上回る精度を達成し、JDAより最大2.89%（W→C）および3.39%（A→W）の向上を達成した。
• バランスの取れたタスク（C→AおよびCO1→CO2）では、W-BDAはBDAおよびJDAと同等の性能を維持し、バランスの取れたデータでも性能が低下しないことを示した。
• 感度分析の結果、BDAおよびW-BDAはハイパーパrameter d（特徴次元）およびλ（正則化）に対して相対的にロバストであることが判明し、実用的適用性を支持する。
• マージナル分布と条件付き分布を等しく扱う（JDAのように）ことは最適ではなく、μによる適応的重み付けが一貫した性能向上をもたらすことを結果が確認した。