[論文レビュー] A survey on domain adaptation theory: learning bounds and theoretical guarantees

Ievgen Redko, Emilie Morvant+3 more|arXiv (Cornell University)|Apr 24, 2020

Domain Adaptation and Few-Shot Learning参考文献 76被引用数 20

ひとこと要約

本調査は、分布シフト下での一般化保証と学習境界に注目し、ドメイン適応における理論的基盤について包括的な概要を提供する。複数の統計的学習フレームワークからの結果を統合し、モデルのターゲットドメインにおける性能がソースドメインとターゲットドメインの分布およびラベル関数の類似性に依存することを強調している。主な貢献は、適応可能性の形式的定式化と、未解決の理論的課題の同定である。

ABSTRACT

All famous machine learning algorithms that comprise both supervised and semi-supervised learning work well only under a common assumption: the training and test data follow the same distribution. When the distribution changes, most statistical models must be reconstructed from newly collected data, which for some applications can be costly or impossible to obtain. Therefore, it has become necessary to develop approaches that reduce the need and the effort to obtain new labeled samples by exploiting data that are available in related areas, and using these further across similar fields. This has given rise to a new machine learning framework known as transfer learning: a learning setting inspired by the capability of a human being to extrapolate knowledge across tasks to learn more efficiently. Despite a large amount of different transfer learning scenarios, the main objective of this survey is to provide an overview of the state-of-the-art theoretical results in a specific, and arguably the most popular, sub-field of transfer learning, called domain adaptation. In this sub-field, the data distribution is assumed to change across the training and the test data, while the learning task remains the same. We provide a first up-to-date description of existing results related to domain adaptation problem that cover learning bounds based on different statistical learning frameworks.

研究の動機と目的

• ドメイン適応という転移学習の根幹的分野における理論的進展を統合的かつ最新の視点から概説すること。
• 異なる統計的学習フレームワークにおける学習境界を分析し、ソースドメインとターゲットドメイン間の分布的類似性の役割に焦点を当てる。
• ドメイン適応における未解決の理論的問題、特に連合誤差推定とオープンセットおよび異種設定への拡張を同定すること。
• 理論的知見と、データ分布が変化する現実世界の展開における実践的課題を橋渡しすること。

提案手法

• リスク最小化や乖離に基づく境界を含む、複数の統計的学習フレームワークを用いたドメイン適応における理論的結果の体系的レビュー。
• データ分布シフト、ラベル関数、およびターゲットデータのラベル付きデータの可用性に関する仮定に基づいて、理論的保証を分類すること。
• ソースドメインとターゲットドメインの誤差を、分布乖離とラベル関数類似性の測度を通じて明示的に結びつける学習境界の分析。
• 標準的ドメイン適応、異種転移学習（HTL）、および教師なしドメイン適応の3つの主要な学習設定に焦点を当てる。
• 要約を簡潔に保つために、完全な証明や数学的導出を省略し、詳細な技術的探求のために書籍および元論文への参照を提供する。
• 理論的ギャップの同定、特に連合誤差項の一貫した推定の欠如や、オープンセットおよび異種ドメイン適応に対する境界の欠如。

実験結果

リサーチクエスチョン

• RQ1 ドメイン適応における学習境界は、分布シフト下でソースドメインとターゲットドメインの誤差の関係をどのように形式化するか？
• RQ2 異なるデータ分布を持つターゲットドメインに、ソースドメインからの知識を効果的に適応させるために満たすべき理論的条件は何か？
• RQ3 リスク最小化や乖離に基づく境界などの異なる統計的学習フレームワークは、ドメイン適応の一般化をどのように理解に貢献するか？
• RQ4 特に連合誤差推定と適応可能性に関して、現在のドメイン適応境界の理論的限界は何か？
• RQ5 オープンセットおよび異種ドメイン適応といった新たな設定への理論的保証の拡張に関して、未解決の問題は何か？

主な発見

• ドメイン適応における学習境界は、ソースドメインとターゲットドメインの周辺分布およびラベル関数の類似性に明示的に依存しており、これが核心的な理論的トレードオフを形成する。
• 異種転移学習（HTL）設定では、ソース学習データが利用可能でないため、理論的保証に周辺分布乖離項を含まない。代わりに、事前に学習された仮説のみが利用可能である。
• HTLにおける適応の成功は、ソース仮説がターゲット分布上でどれほど性能を発揮するかに依存し、望ましい仮定のもとでは少数のラベル付きターゲットデータでも効果的な学習が可能になる。
• 大多数のドメイン適応境界とは異なり、HTLの境界には適応可能性項が含まれない。これは、ラベル付きターゲットデータが学習者に利用可能であるためである。
• 主な未解決問題として、データ分布とラベル分布の両方の乖離を組み合わせて測る連合誤差項の一貫した推定が挙げられ、これに対しては唯一1件の先行研究が代替解決策を提示しているにとどまる。
• オープンセットドメイン適応（クラスが重複しない）や異種ドメイン適応（異なる入力空間）といった新興設定については、実用的関連性が高まっているにもかかわらず、理論的分析は依然としてほとんど存在しない。