[論文レビュー] On Deep Domain Adaptation: Some Theoretical Understandings

Trung Le, Khanh Nguyen+3 more|arXiv (Cornell University)|Nov 15, 2018

Domain Adaptation and Few-Shot Learning参考文献 26被引用数 5

ひとこと要約

本論文は、重ね合わせ特徴空間におけるソース分布とターゲット分布の Wasserstein 距離を最小化することで、深層ドメイン適応の理論的枠組みを厳密に確立し、転移学習誤差を低減することを証明している。分布の乖離とラベル割り当ての不一致の両方が、転移誤差の上界に依存することを示しており、深層ネットワークにおけるドメインアライメントが一般化を向上させる理由を原理的かつ一貫した説明を提供するとともに、CycleGAN などの教師なしスタイル変換モデルと関連付ける。

ABSTRACT

Compared with shallow domain adaptation, recent progress in deep domain adaptation has shown that it can achieve higher predictive performance and stronger capacity to tackle structural data (e.g., image and sequential data). The underlying idea of deep domain adaptation is to bridge the gap between source and target domains in a joint space so that a supervised classifier trained on labeled source data can be nicely transferred to the target domain. This idea is certainly intuitive and powerful, however, limited theoretical understandings have been developed to support its underpinning principle. In this paper, we have provided a rigorous framework to explain why it is possible to close the gap of the target and source domains in the joint space. More specifically, we first study the loss incurred when performing transfer learning from the source to the target domain. This provides a theory that explains and generalizes existing work in deep domain adaptation which was mainly empirical. This enables us to further explain why closing the gap in the joint space can directly minimize the loss incurred for transfer learning between the two domains. To our knowledge, this offers the first theoretical result that characterizes a direct bound on the joint space and the gain of transfer learning via deep domain adaptation

研究の動機と目的

• 深層ドメイン適応の理論的基盤を確立し、その実証的成果を説明すること。
• ソースドメインとターゲットドメイン間の共有仮説空間に関する仮定を緩和することで、先行研究を一般化すること。
• 分布乖離とラベル割り当て不一致の両方に依存する、転移学習誤差の理論的上界を導出すること。
• 統一的な理論的枠組みを通じて、既存の深層ドメイン適応手法の成功を説明すること。
• 深層ドメイン適応理論を、CycleGAN や DiscoGAN などの教師なしスタイル変換モデルと結びつけること。

提案手法

• 共有仮説空間を仮定しない、バイジェクティブ変換 $ T_{ts} $ を用いてソースドメインとターゲットドメインのズレをモデル化する一般的なフレームワークを提案する。
• ソース分布と $ T_{ts} $ を通じたターゲット分布のプッシュフォワードとの間の Wasserstein 距離に依存する、転移学習の一般化誤差の上界を導出する。
• 重ね合わせ空間におけるラベル割り当てメカニズムの不一致を捉えるための不一致項を組み込む。
• GAN の原則と結合された識別器を用いて、トレーニング中に重ね合わせ空間における適切なラベルアライメントを強制する。
• 幾何構造とクラスタ構造を保持するための再構成損失を導入する。
• 重ね合わせ空間における構造保持とドメイン混合のバランスを取るためのトレードオフハイパーパrameterを採用する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして深層ドメイン適応が転移学習誤差を低減するかを理論的に正当化できるか？
• RQ2 重ね合わせ特徴空間における分布アライメントが転移誤差を最小化する役割を果たすか？
• RQ3 ソースドメインとターゲットドメイン間のラベル割り当て不一致が転移性能に与える影響は何か？
• RQ4 理論的枠組みは、CycleGAN などの教師なしスタイル変換モデルの成功を説明できるか？
• RQ5 重ね合わせ空間におけるドメイン構造の保持とドメイン混合の間にはどのようなトレードオフがあるか？

主な発見

• 理論的分析により、転移誤差が、ソース分布と変換されたターゲット分布の Wasserstein 距離と、ラベル割り当てメカニズムの不一致の和によって上界づけられることを示した。
• 実験結果により、重ね合わせ空間における適切なラベルマッチングが予測性能を顕著に向上させる一方、不適切なマッチングは性能を低下させることを確認した。
• MNIST→MNIST-M タスクにおいて、適切なラベルマッチング下では、50% のラベル付きターゲットデータで予測精度が 93.2% に達するが、不適切なマッチングでは 58.4% にとどまる。
• 再構成項を追加することで、クラスタ構造が保持され、性能が向上した。MNIST→MNIST-M において、再構成なしでは 81.5% だったが、最適な再構成では 93.2% に上昇した。
• 理論により、CycleGAN や DiscoGAN が機能する理由を説明できる：これらは共有空間における分布乖離を最小化する非退化した輸送写像を学習する。
• 実験により、Wasserstein 距離を単に最小化しても、ラベル不一致項が増大する可能性があり、結果として全体の誤差上界が悪化する可能性があることが示された。