[論文レビュー] On Localized Discrepancy for Domain Adaptation

Yuchen Zhang, Mingsheng Long+2 more|arXiv (Cornell University)|Aug 14, 2020

Domain Adaptation and Few-Shot Learning参考文献 46被引用数 4

ひとこと要約

本稿では、局所化後に仮説空間を制限することによってドメイン適応のための局所化された乖離を導入し、よりタイトな一般化境界を達成する。理論的分析により、これらの乖離が過大評価を低減し、非対称な転移難易度を明らかにするとともに、ブーストされたバージョンではより高速なサンプル複雑性とスーパー転移を実現可能であることを示している。

ABSTRACT

We propose the discrepancy-based generalization theories for unsupervised domain adaptation. Previous theories introduced distribution discrepancies defined as the supremum over complete hypothesis space. The hypothesis space may contain hypotheses that lead to unnecessary overestimation of the risk bound. This paper studies the localized discrepancies defined on the hypothesis space after localization. First, we show that these discrepancies have desirable properties. They could be significantly smaller than the pervious discrepancies. Their values will be different if we exchange the two domains, thus can reveal asymmetric transfer difficulties. Next, we derive improved generalization bounds with these discrepancies. We show that the discrepancies could influence the rate of the sample complexity. Finally, we further extend the localized discrepancies for achieving super transfer and derive generalization bounds that could be even more sample-efficient on source domain.

研究の動機と目的

• 古典的な乖離に基づくドメイン適応理論で見られる、全仮説空間上の上界（supremum）を用いる手法による過大評価問題に対処する。
• 一般化境界を改善し、過剰な保守性を低減するための新しい局所化技術を開発する。
• 局所化された乖離が、ソースドメインとターゲットドメイン間の非対称な転移難易度を明らかにできるかどうかを調査する。
• 局所化された乖離値に依存するサンプル複雑性を持つ、改善された一般化境界を導出する。
• 非教師付きドメイン適応において、スーパー転移（ソースドメインの収束速度がターゲットドメインよりも速くなる状況）が理論的に達成可能な条件を探索する。

提案手法

• 実効リスクと信頼区間を用いて仮説空間を制限し、局所化された仮説集合 $\tilde{\mathcal{H}}_{r^+}$ と $\tilde{\mathcal{H}}_{r^-}$ を定義することで、局所化された乖離を定義する。
• 感度を向上させるとともにスーパー転移を可能にするために、$\gamma$-ブーストド局所化 $\mathcal{H}\Delta\mathcal{H}$-乖離を導入する。
• 実効リスク、局所化された乖離、統計的誤差項を組み合わせた一般化境界（定理13）を導出する。この境界は $O(\cdot)^\gamma$ のレートを示す。
• VC次元と集中不等式を用いて、高い確率で一般化誤差をバインドする。
• 当該 $\gamma$-ブーストド乖離が小さい場合、ソースドメインのサンプル複雑性がターゲットドメインよりも速くなることを確立する。
• 局所化後の仮説空間の構造を活用することで、古典的な上界に基づく乖離よりもタイトな境界を保証する。

実験結果

リサーチクエスチョン

• RQ1 局所化された乖離は、古典的乖離測度に内在する過大評価を顕著に低減できるか？
• RQ2 ソースドメインとターゲットドメインを入れ替えた場合、局所化された乖離は非対称な転移難易度を明らかにするか？
• RQ3 局所化された乖離は、より高速なサンプル複雑性レートを持つ改善された一般化境界をもたらすか？
• RQ4 $\gamma$-ブーストド局所化乖離が非教師付きドメイン適応においてスーパー転移を達成できる条件は何か？
• RQ5 ドメイン適応において、古典的乖離よりも局所化された乖離を用いる理論的根拠はあるか？

主な発見

• 局所化された乖離は、古典的乖離よりも厳密に小さいため、リスク境界の過大評価が低減される。
• ソースドメインとターゲットドメインを入れ替えても、局所化された乖離の値が異なるため、非対称な転移難易度の検出が可能になる。
• 局所化された乖離を用いて導出した一般化境界では、サンプル複雑性が乖離値に依存しており、乖離値が小さい場合にはより高速なレートが得られる。
• $\gamma$-ブーストド局所化 $\mathcal{H}\Delta\mathcal{H}$-乖離は、ソースドメインの一般化レートがターゲットドメインよりも速くなるスーパー転移を可能にする。
• 改善された一般化境界（定理13）には $O(\cdot)^\gamma$ 項が含まれており、乖離値が小さいほど収束レートが加速されることを示している。
• 理論的枠組みにより、古典的仮定（Ben-David et al., 2007）の下で、乖離に基づく境界を用いた初めての確実なサンプル複雑性の改善が可能であることが示された。