[論文レビュー] Generalization Bounds for Representative Domain Adaptation

Chao Zhang, Lei Zhang+2 more|arXiv (Cornell University)|Jan 2, 2014

Domain Adaptation and Few-Shot Learning参考文献 31被引用数 3

ひとこと要約

本稿では、代表的ドメイン適応のための新しい理論的枠組みを提案する。源ドメインと標的ドメイン間の分布シフトを測定するために積分確率距離（IPM）を導入し、複数ドメインに対するホフディング型、ベントン型、マクディアーミド型の逸脱不等式を導出する。IPMを組み込んだ対称化不等式を確立し、一様エントロピー数とラデマッハ複雑度を用いた一般化境界を提示する。また、漸近的収束解析と実験的検証も行う。

ABSTRACT

In this paper, we propose a novel framework to analyze the theoretical properties of the learning process for a representative type of domain adaptation, which combines data from multiple sources and one target (or briefly called representative domain adaptation). In particular, we use the integral probability metric to measure the difference between the distributions of two domains and meanwhile compare it with the H-divergence and the discrepancy distance. We develop the Hoeffding-type, the Bennett-type and the McDiarmid-type deviation inequalities for multiple domains respectively, and then present the symmetrization inequality for representative domain adaptation. Next, we use the derived inequalities to obtain the Hoeffding-type and the Bennett-type generalization bounds respectively, both of which are based on the uniform entropy number. Moreover, we present the generalization bounds based on the Rademacher complexity. Finally, we analyze the asymptotic convergence and the rate of convergence of the learning process for representative domain adaptation. We discuss the factors that affect the asymptotic behavior of the learning process and the numerical experiments support our theoretical findings as well. Meanwhile, we give a comparison with the existing results of domain adaptation and the classical results under the same-distribution assumption.

研究の動機と目的

• 複数の源ドメインと1つの標的ドメインを統合する、代表的ドメイン適応の包括的理論的枠組みを構築すること。
• 従来の指標（H-発散や差異距離など）を超えて、源ドメインと標的ドメイン間の分布差を測定する課題に取り組むこと。
• 複数ドメイン学習設定に特化した、ホフディング型、ベントン型、マクディアーミド型の新しい逸脱不等式を導出すること。
• ドメインシフトを一般化境界に反映させるために、IPMを明示的に組み込んだ対称化不等式を確立すること。
• ドメインシフト下での学習プロセスの漸近的収束と収束速度を分析すること。

提案手法

• 源ドメインと標的ドメイン間の分布差を測定するために、積分確率距離（IPM）を用いる。H-発散や差異距離と比較する。
• マルティングルールに基づくアプローチを用いて、複数ドメインに対するホフディング型、ベントン型、マクディアーミド型の逸脱不等式を導出する。
• ドメインシフトを一般化境界の導出に反映させるために、IPMを明示的に組み込んだ対称化不等式を提案する。
• 一様エントロピー数とラデマッハ複雑度を用いて一般化境界を導出し、よりタイトで柔軟性のあるリスク推定を可能にする。
• 導出された不等式を統合し、源ドメインと標的ドメインのデータ分布および標本サイズを両方とも考慮する統一された境界式を構築する。
• 対称化と集中化技術を用いて、ドメインシフト下での経験的リスクと真のリスクの差の期待値をバインドする。

実験結果

リサーチクエスチョン

• RQ1 既存の指標を超えて、源ドメインと標的ドメイン間の分布シフトをどのようにより効果的に測定できるか？
• RQ2 複数の源ドメインと1つの標的ドメインを含む学習プロセスに対して、有効な逸脱不等式は何か？
• RQ3 一般化境界にドメイン分布差を反映させるために、対称化不等式をどのように適応できるか？
• RQ4 一様エントロピー数とラデマッハ複雑度を用いた代表的ドメイン適応の一般化境界は何か？
• RQ5 ドメインシフト下での学習プロセスの漸近的収束行動と収束速度は何か？

主な発見

• 本稿では、源ドメインと標的ドメイン間のIPM、標本サイズ、関数クラスの複雑さに依存するホフディング型一般化境界を確立した。
• サブガウス型またはサブ・ワイブル型の損失分布仮定下で、よりタイトな制御を提供するベントン型一般化境界を導出した。
• ラデマッハ複雑度に基づく一般化境界は、データ分布と関数クラスの複雑さに適応可能であり、源ドメインの重みに明示的な依存関係を示す。
• 学習プロセスの漸近的収束速度を分析した結果、収束速度がドメイン間のIPMおよび源ドメインと標的ドメインの標本サイズに依存することが示された。
• 数値実験により理論的結果が裏付けられ、提案された境界が一般化誤差へのドメインシフトの影響を効果的に捉えていることが示された。
• 導出された境界は、同一分布仮定下での先行研究を一般化し、源ドメイン数が1つまたは標的ドメインが明示的にモデル化されない場合に、既存のドメイン適応境界を特別なケースとして含む。