[論文レビュー] Unsupervised Domain Adaptation Based on Source-guided Discrepancy

Seiichi Kuroki, Nontawat Charoenphakdee+4 more|arXiv (Cornell University)|Sep 11, 2018

Domain Adaptation and Few-Shot Learning参考文献 24被引用数 7

ひとこと要約

本稿では、教師ありドメインラベルを活用することで、よりタイトな一般化誤差バインディングを達成する、非教師型ドメイン適応のための新しい効率的計算可能な乖離測度であるソースガイドド乖離（S-disc）を提案する。S-discは、$d_{\mathcal{H}}$ や $\mathcal{X}$-disc と比較して、ソース選択およびドメイン適応タスクにおける収束速度の向上と優れた性能を実現する。

ABSTRACT

Unsupervised domain adaptation is the problem setting where data generating distributions in the source and target domains are different, and labels in the target domain are unavailable. One important question in unsupervised domain adaptation is how to measure the difference between the source and target domains. A previously proposed discrepancy that does not use the source domain labels requires high computational cost to estimate and may lead to a loose generalization error bound in the target domain. To mitigate these problems, we propose a novel discrepancy called source-guided discrepancy (S-disc), which exploits labels in the source domain. As a consequence, S-disc can be computed efficiently with a finite sample convergence guarantee. In addition, we show that S-disc can provide a tighter generalization error bound than the one based on an existing discrepancy. Finally, we report experimental results that demonstrate the advantages of S-disc over the existing discrepancies.

研究の動機と目的

• 既存のドメイン乖離測度が計算コストが高く、理論的保証に欠けるという限界を是正すること。
• ソースドメインラベルを活用することで、推定精度と一般化バインディングを向上させる乖離測度の開発。
• S-discの計算量的に効率的な推定器を提供し、有限標本下での理論的一貫性と収束速度の分析を実施すること。
• 実験を通じて、S-discがソース選択およびドメイン適応タスクにおいて既存の測度を上回ることを示すこと。

提案手法

• ドメインシフトをよりよく捉えるためにソースドメインラベルを組み込んだ、新しい乖離測度であるソースガイドド乖離（S-disc）を提案する。
• 線形SVMを用いて0-1損失下でのS-disc推定に向けた効率的アルゴリズムを設計し、実用的な計算を可能にする。
• 有限標本条件下でのS-disc推定器の理論的一致性と収束速度を確立する。
• S-discに基づく、$\mathcal{X}$-discに基づくものよりもタイトな一般化誤差バインディングを導出する。
• ターゲットドメインとの乖離に基づいてソースドメインをランク付けすることで、S-discをドメイン適応パイプラインに適用する。
• MNISTおよびMNIST-Mデータセットを用いた実験を通じて、S-discと $d_{\mathcal{H}}$、$\mathcal{X}$-disc の間で計算時間、収束速度、ソース選択性能を比較評価する。

実験結果

リサーチクエスチョン

• RQ1 ソースドメインラベルを活用する乖離測度は、既存手法に比べてより良い一般化誤差バインディングを達成できるか？
• RQ2 理論的保証を維持しつつ、計算量的に効率的なドメイン乖離推定器を設計することは可能か？
• RQ3 S-discは、収束速度と精度の面で $d_{\mathcal{H}}$ や $\mathcal{X}$-disc に比べてどのように性能を発揮するか？
• RQ4 ソース選択タスクにおいて、S-discはノイズの多いソースよりもクリアなソースを効果的にランク付けできるか？
• RQ5 分布シフト下において、S-discは非教師型ドメイン適応の性能向上に寄与するか？

主な発見

• S-discの計算は、大規模データセットでは計算が非現実的となる$\mathcal{X}$-discに比べて著しく高速であり、対数スケールの計算時間比較で明確に示されている。
• S-disc推定器は $d_{\mathcal{H}}$ よりも高速かつ正確に収束するが、$d_{\mathcal{H}}$ は真の乖離がゼロであっても、ゆっくりと収束し、非ゼロ値に留まる。
• ソース選択タスクにおいて、S-discはノイズのないMNIST-Mソースをノイズのあるソースよりも正しく上位にランク付けするが、$d_{\mathcal{H}}$ は常に1の値を返すため、完全に失敗する。
• S-discは、特に訓練例の数が増加するにつれて高いソース選択スコアを達成し、データ量とノイズに対して高いロバスト性を示す。
• S-discに基づく一般化誤差バインディングは、$\mathcal{X}$-discに基づくものよりもタイトであり、ドメイン適応の理論的基盤をより強くする。
• 実験結果は、S-discが収束性および実用的なドメイン適応性能の両面で、既存の乖離測度を上回ることを確認している。