[論文レビュー] Moment-Based Domain Adaptation: Learning Bounds and Algorithms

Werner Zellinger|arXiv (Cornell University)|Apr 22, 2020

Domain Adaptation and Few-Shot Learning参考文献 189被引用数 4

ひとこと要約

本稿は、有限個のモーメントと滑らかさ条件を用いて誤分類リスクを限定するモーメントベースのドメイン適応フレームワークを提案する。このフレームワークにより、弱い分布類似性仮定のもとでもロバストな一般化が可能となる。また、ニューラルネットワーク正則化のための新しいモーメント距離を導入し、ベンチマークおよび産業データセットにおいて、より強い仮定を必要とするベースラインを上回る性能を発揮する。

ABSTRACT

This thesis contributes to the mathematical foundation of domain adaptation as emerging field in machine learning. In contrast to classical statistical learning, the framework of domain adaptation takes into account deviations between probability distributions in the training and application setting. Domain adaptation applies for a wider range of applications as future samples often follow a distribution that differs from the ones of the training samples. A decisive point is the generality of the assumptions about the similarity of the distributions. Therefore, in this thesis we study domain adaptation problems under as weak similarity assumptions as can be modelled by finitely many moments.

研究の動機と目的

• 分布シフトの課題に取り組むため、分布類似性に関する仮定を緩和する。
• 有限個のモーメントとエントロピー条件を用いて、弱い仮定のもとで誤分類リスクを理論的にバウンディングするフレームワークを構築する。
• 教師なしのターゲットドメインデータのみを必要とするモーメントベースのメトリクスに基づく実用的なドメイン適応アルゴリズムを設計する。
• 大規模ベンチマークおよび実世界の産業的回帰問題において、提案手法の有効性を実証する。

提案手法

• ニューラルネットワークを正則化するためのモーメント距離メトリクスを提案し、ソースドメインとターゲットドメインのモーメントの乖離を最小化する。
• 有限次のモーメントと分布の滑らかさ（エントロピー）条件を用いて、一般化リスクを理論的にバウンディングするフレームワークを導入する。
• ターゲットドメインのラベルなしデータのみを活用して、ドメイン間の一次モーメントを一致させるドメイン適応アルゴリズムを設計する。
• 訓練リスク、サンプルサイズ、モーメント類似度、エントロピー制約に基づいて、提案手法の誤分類リスクの上界を導出する。
• 時間系列モデリング（製造業）と分析化学におけるキャリブレーション（産業的応用）の2つの実問題にフレームワークを適用する。
• 大規模ベンチマークおよび実世界のデータセットを用いた実証的検証により、標準的なドメイン適応および回帰手法と性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 分布類似性の仮定を弱くした場合、特に有限個のモーメントに限定した場合に、識別モデルに対して理論的リスクバウンディングを確立できるか？
• RQ2 モーメントベースの距離メトリクスは、ドメイン適応の一般化を向上させるために、どのようにニューラルネットワークの正則化に利用できるか？
• RQ3 提案されたモーメント距離は、ワッサーシュタイン距離やMMDなどの既存の確率的メトリクスとどのような関係にあるか？
• RQ4 提案手法は、より強い分布的仮定を必要とする既存のドメイン適応手法を上回ることができるか？
• RQ5 ラベルなしターゲットデータのみを用いる本手法は、実世界の産業的回帰タスクにおいてどの程度有効であるか？

主な発見

• 仮定を緩和した状況でも、ベースラインより低い誤分類リスクを達成しており、モーメント類似度が弱い状況下でもロバストであることが示された。
• 理論的バウンディングにより、低訓練リスク、大規模なサンプルサイズ、モーメント類似度、エントロピー制約が併存することで、低一般化リスクが保証されることを示した。
• モーメント距離メトリクスがMMDやワッサーシュタイン距離といった他の確率的メトリクスと関連していることが示され、理論的裏付けが得られた。
• 大規模ベンチマークにおいて、より強い分布的仮定を必要とする既存のドメイン適応アルゴリズムを上回る性能を発揮した。
• 産業的製造分野では、一次モーメントに基づくアルゴリズムが、未知の分布からの時間系列を効果的にモデリングし、標準的な回帰モデルを上回った。
• 分析化学分野では、ラベルなしデータのみを用いたキャリブレーション手法が、2つの実世界データセットで標準的手法を上回り、実用的有効性が実証された。