[論文レビュー] A survey on domain adaptation theory

Ievgen Redko, Emilie Morvant+3 more|arXiv (Cornell University)|Apr 24, 2020

Domain Adaptation and Few-Shot Learning参考文献 58被引用数 18

ひとこと要約

本調査は、トレーニングデータとテストデータの分布が異なるが学習タスクは同一である、転移学習の主要分野であるドメイン適応について、包括的な理論的分析を提供する。複数の統計的学習フレームワークにおける最新の一般化限界を統合し、分布シフト状況下での一般化の統一的理解を提供する。

ABSTRACT

All famous machine learning algorithms that comprise both supervised and semi-supervised learning work well only under a common assumption: the training and test data follow the same distribution. When the distribution changes, most statistical models must be reconstructed from newly collected data, which for some applications can be costly or impossible to obtain. Therefore, it has become necessary to develop approaches that reduce the need and the effort to obtain new labeled samples by exploiting data that are available in related areas, and using these further across similar fields. This has given rise to a new machine learning framework known as transfer learning: a learning setting inspired by the capability of a human being to extrapolate knowledge across tasks to learn more efficiently. Despite a large amount of different transfer learning scenarios, the main objective of this survey is to provide an overview of the state-of-the-art theoretical results in a specific, and arguably the most popular, sub-field of transfer learning, called domain adaptation. In this sub-field, the data distribution is assumed to change across the training and the test data, while the learning task remains the same. We provide a first up-to-date description of existing results related to domain adaptation problem that cover learning bounds based on different statistical learning frameworks.

研究の動機と目的

• トレーニングデータとテストデータの間の分布シフトに起因する標準的な機械学習モデルの性能低下という課題に対処すること。
• 新しいドメインにおける高価または入手不可能なラベル付きデータに依存するのを減らすために、関連ドメインからのデータを活用すること。
• 一般化限界に焦点を当て、ドメイン適応における理論的進展の体系的概要を提供すること。
• ドメイン適応の統計的学習フレームワーク内での既存の理論的結果を統合・更新すること。
• 現実世界のデータ分布シフト下で、より耐障害性があり一般化可能なモデルの開発を支援すること。

提案手法

• リスク最小化や一般化限界に基づく、既存のドメイン適応の理論的フレームワークを調査・分類すること。
• PAC-Bayes、レーディンガー複雑度、差分に基づく限界など、異なる統計的学習パラダイムから導かれた学習限界を分析すること。
• 共変量シフト、コンセプトシフト、事前分布シフトを含む、さまざまなドメイン適応設定における理論的結果を比較すること。
• 複数の理論的アプローチからの知見を統合し、分布シフト下での一般化における共通の原則と限界を特定すること。
• データ分布が異なるドメイン間で知識を転送する問題としてドメイン適応を定式化すること。
• 一般化保証を導出する際に、分布の乖離尺度（例：ドメイン差分）の役割を強調すること。

実験結果

リサーチクエスチョン

• RQ1 分布シフト下でのドメイン適応における一般化を支える主な理論的フレームワークは何か？
• RQ2 PAC-Bayes やレーディンガー複雑度などの異なる統計的学習フレームワークは、ドメイン適応における一般化限界の導出にどのように寄与するか？
• RQ3 既存のドメイン適応の理論的結果における根本的な仮定と限界は何か？
• RQ4 共変量シフトやコンセプトシフトなどの分布シフトは、理論的限界の妥当性とタイトさにどのように影響を与えるか？
• RQ5 多様な理論的アプローチから導かれる統一的な原則は何か？

主な発見

• PAC-Bayes やレーディンガー複雑度、差分に基づく限界といった理論的フレームワークは、ドメイン適応における一般化を理解するための厳密な基盤を提供する。
• ドメイン適応における一般化限界は、ソースドメインとターゲットドメイン間の分布乖離度に敏感である。
• 理論的結果は、ラベルなしのターゲットデータでさえも、ドメイン差分を最小化することでよりタイトな限界が達成可能であることを示している。
• 既存の理論的分析は、ドメイン間での特徴量とラベルの分布の整合性が、ドメイン適応モデルの性能に極めて重要であることを明らかにしている。
• 進展は見られても、理論的保証はしばしば、有界な乖離やデータの特定の構造的制約といった強い仮定に依存している。
• 本調査は、単純な共変量シフトを越えた複雑な現実世界の分布シフトの取り扱いに、現在の理論にギャップがあると特定している。