[論文レビュー] Generalization Bounds for Domain Adaptation

Chao Zhang, Lei Zhang+1 more|arXiv (Cornell University)|Apr 4, 2013

Domain Adaptation and Few-Shot Learning被引用数 27

ひとこと要約

本稿は、分布シフト下でのドメイン適応に対して一般化境界を確立し、ドメインの不一致を測定するための新しいフレームワークを、積分確率距離（IPM）に基づいて導入することで達成している。一様エントロピーおよびラデマッハ複雑度を用いて、ホーフィング型および対称化不等式を導出し、複数のソースおよび統合されたソース・ターゲットドメイン適応設定における漸近的収束解析およびレート境界を可能にしている。

ABSTRACT

In this paper, we provide a new framework to obtain the generalization bounds of the learning process for domain adaptation, and then apply the derived bounds to analyze the asymptotical convergence of the learning process. Without loss of generality, we consider two kinds of representative domain adaptation: one is with multiple sources and the other is combining source and target data. In particular, we use the integral probability metric to measure the difference between two domains. For either kind of domain adaptation, we develop a related Hoeffding-type deviation inequality and a symmetrization inequality to achieve the corresponding generalization bound based on the uniform entropy number. We also generalized the classical McDiarmid's inequality to a more general setting where independent random variables can take values from different domains. By using this inequality, we then obtain generalization bounds based on the Rademacher complexity. Afterwards, we analyze the asymptotic convergence and the rate of convergence of the learning process for such kind of domain adaptation. Meanwhile, we discuss the factors that affect the asymptotic behavior of the learning process and the numerical experiments support our theoretical findings as well.

研究の動機と目的

• 古典的統計的学習理論が同一のソースおよびターゲットデータ分布を仮定するという制限を克服し、分布シフト下でのドメイン適応に対する一般化境界を構築すること。
• トレーニングデータとテストデータが異なる分布から抽出されるドメイン適応の状況において、学習プロセスの漸近的収束および収束レートを分析すること。
• ドメイン不一致の測定、複雑度の測定、および集中不等式を統合した、ドメイン適応に特化した包括的フレームワークを提案すること。
• 独立した確率変数が異なるドメインから抽出される状況に対応できるように、マクディアーミッドの不等式を一般化し、よりタイトなラデマッハに基づく境界を可能にすること。
• 数値実験を通じて理論的考察を検証し、標準的なi.i.d.学習仮定と結果を比較すること。

提案手法

• ソースドメインとターゲットドメイン間の分布的差異を測定するために、積分確率距離（IPM）を用いる。これは、標準的なi.i.d.仮定の代わりに用いられる。
• マルティングル法を用いて、ソースおよびターゲットデータの非i.i.d.性質に適合したドメイン適応用ホーフィング型の偏差不等式を構築する。
• IPMを組み込んだ対称化不等式を導入し、ドメイン不一致を反映することで、よりタイトな一般化境界を可能にする。
• 一様エントロピー数を用いて、複数ソースおよび統合されたソース・ターゲットドメイン適応設定の両方における一般化境界を導出する。
• 異なるドメインから抽出された独立した確率変数に対応できるように、マクディアーミッドの不等式を一般化し、ラデマッハ複雑度に基づく境界を支援する。
• 一様エントロピーおよびラデマッハ複雑度の両方を用いて一般化境界を導出し、ドメインシフト下での収束レート解析を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ソースドメインとターゲットドメインが異なる分布に従う場合、ドメイン適応における一般化境界はどのように導出可能か？
• RQ2 積分確率距離（IPM）は、ドメイン不一致の測定および一般化境界の改善に果たす役割は何か？
• RQ3 学習プロセスの収束レートは、ドメインシフト、標本サイズ、関数クラスの複雑度にどのように依存するか？
• RQ4 マクディアーミッドの不等式は、異なるドメインから抽出された独立した確率変数に対応できるように一般化可能か？ その場合、よりタイトなラデマッハに基づく境界が可能になるか？
• RQ5 ドメイン適応における理論的収束特性は、標準的なi.i.d.仮定下のそれと比較してどのように異なるか？

主な発見

• 本稿は、IPMを用いてドメイン不一致を測定するドメイン適応の一般化境界を確立し、境界は関数クラスの複雑度およびドメインシフトの大きさに依存することを示している。
• 複数ソースおよび統合されたソース・ターゲットドメイン適応の両設定において、導出された境界は、一般化誤差が $N_S$ および $N_T$ の標本サイズとIPM距離 $D_{F}(S,T)$ に依存するレートで減少することを示している。
• ドメイン不一致 $D_{F}(S,T)$ が有界であり、関数クラスが有限の一様エントロピーまたはラデマッハ複雑度を持つ場合、学習プロセスの漸近的収束が保証される。
• 標準的な仮定下では収束レートが $O(1/\text{min}(N_S, N_T))$ であることが示されており、ドメインシフトが小さい場合にはより良いレートが得られる。
• 数値実験により理論的考察が裏付けられており、提案された境界がドメイン適応設定における一般化誤差を正確に反映していることが示されている。
• 一般化されたマクディアーミッドの不等式により、非i.i.d.設定下でよりタイトなラデマッハ複雑度に基づく境界が可能となり、ドメイン適応における古典的境界を改善している。