[論文レビュー] Bridging Theory and Algorithm for Domain Adaptation

Yuchen Zhang, Tianle Liu+2 more|arXiv (Cornell University)|Apr 11, 2019

Domain Adaptation and Few-Shot Learning参考文献 46被引用数 229

ひとこと要約

この論文は、マージン損失を用いたマルチクラスのスコアリング関数を対象とする領域適応理論を拡張し、Margin Disparity Discrepancy (MDD) を導入して一般化境界を導出し、続いて理論を敵対的学習アルゴリズムへと転換し、標準ベンチマークで最先端の結果を達成する。

ABSTRACT

This paper addresses the problem of unsupervised domain adaption from theoretical and algorithmic perspectives. Existing domain adaptation theories naturally imply minimax optimization algorithms, which connect well with the domain adaptation methods based on adversarial learning. However, several disconnections still exist and form the gap between theory and algorithm. We extend previous theories (Mansour et al., 2009c; Ben-David et al., 2010) to multiclass classification in domain adaptation, where classifiers based on the scoring functions and margin loss are standard choices in algorithm design. We introduce Margin Disparity Discrepancy, a novel measurement with rigorous generalization bounds, tailored to the distribution comparison with the asymmetric margin loss, and to the minimax optimization for easier training. Our theory can be seamlessly transformed into an adversarial learning algorithm for domain adaptation, successfully bridging the gap between theory and algorithm. A series of empirical studies show that our algorithm achieves the state of the art accuracies on challenging domain adaptation tasks.

研究の動機と目的

• 領域適応理論をマルチクラス分類とスコアリング関数およびマージン損失へ拡張する。
• マージン認識一般化境界を持つ Margin Disparity Discrepancy (MDD) を導入する。
• 領域適応のために MDD を最小化する実用的な敵対的学習アルゴリズムを提供する。
• 標準ベンチマークで最先端の経験的性能を示す。

提案手法

• マージンベースの差異（MDD）を定義し、ターゲット誤差をソースマージン誤差と分布差異の上界として捉える。
• マルチクラス領域適応における MDD の一般化境界を、ラデマッハー複雑性とカバー数を用いて導出する。
• 特徴抽出器と分類器が経験的マージン損失と MDD を最小化し、補助分類器がマージン差異を最大化するミニマックス最適化を定式化する。
• MDD の低減のための表現を最適化するため、勾配反転層を備えた敵対的ネットワークを実装する。
• 実用的最適化のためにマージンベースの目的を近似するため、結合クロスエントロピーロスを用いる。
• マージンパラメータ gamma (exp(rho)) がマージンベースの差異を制御し、敵対的ゲームの平衡と関連する。

実験結果

リサーチクエスチョン

• RQ1 マージン損失をどのようにしてマルチクラス問題の領域適応理論に組み込めるか？
• RQ2 マージンベースの差異測度（MDD）は、従来の発散に比べて訓練可能な一般化境界をより厳密に提供できるか？
• RQ3 MDD を軸にした敵対的アルゴリズムは標準的な領域適応ベンチマークで最先端の精度を達成できるか？
• RQ4 実践的にはマージンレベル（rho）と一般化/最適化のトレードオフはどうなるか？

主な発見

Method	A→W	D→W	W→D	A→D	D→A	W→A	Avg
MDD (Proposed)	94.5	98.4	100.0	93.5	74.6	72.2	88.9

• MDD は Office-31 で最先端の精度を達成し、複数の移動タスクでいくつかのベースラインを上回る。
• Office-31 では MDD が競合法より平均精度 88.9% に到達。
• Office-Home では prior 法より強力な改善を MDD が達成（表2に記録されたとおり）。
• VisDA-2017 では MDD が 74.6% の精度を達成（Synthetic→Real）、JAN、MCD、GTA、CDAN のベースラインより高い。
• 提案されたマージンベース理論は、実践的な敵対的学習アルゴリズムを生み、様々なドメインシフトに対して競争力のある、あるいは優れた経験的性能を示す。