[論文レビュー] A Discriminative Technique for Multiple-Source Adaptation

Corinna Cortes, Mehryar Mohri+2 more|arXiv (Cornell University)|Aug 25, 2020

Domain Adaptation and Few-Shot Learning参考文献 33被引用数 6

ひとこと要約

本稿では、密度推定が難しい問題を避けるために、ラベルなしのソースデータからの条件付き確率を推定する、複数ソースドメイン適応（MSA）のための新しい判別的アプローチを提案する。この手法は、従来の生成的アプローチよりも優れた性能とより強い理論的保証を達成しており、実世界および合成データセットにおける実験で、生成的MSAベースラインおよび他のドメイン適応ベースラインを上回っている。

ABSTRACT

We present a new discriminative technique for the multiple-source adaptation, MSA, problem. Unlike previous work, which relies on density estimation for each source domain, our solution only requires conditional probabilities that can easily be accurately estimated from unlabeled data from the source domains. We give a detailed analysis of our new technique, including general guarantees based on Rényi divergences, and learning bounds when conditional Maxent is used for estimating conditional probabilities for a point to belong to a source domain. We show that these guarantees compare favorably to those that can be derived for the generative solution, using kernel density estimation. Our experiments with real-world applications further demonstrate that our new discriminative MSA algorithm outperforms the previous generative solution as well as other domain adaptation baselines.

研究の動機と目的

• ラベル付きのターゲットドメインデータが利用できない状況において、複数のソースドメインからの予測子を統合する課題に対処すること。
• 正確な密度推定を必要としない、実用的で理論的根拠を持つ複数ソースドメイン適応（MSA）の手法を開発すること。
• 特に少数派グループが不足している状況において、ソース分布の混合であるターゲットドメインにおける性能を向上させること。
• 条件付きMaxentに基づく一般化境界と有限標本境界を用いた、条件付き確率推定の一般化保証を提供すること。

提案手法

• 本手法は、ラベルなしのソースデータ上で訓練された条件付きMaxentを用いて、テスト例が各ソースドメインに属する確率を推定する。
• MSA問題を、ソース予測子を組み合わせる最適な混合重みを見つけるためのDCプログラミング最適化問題として定式化する。
• 本手法は、問題の判別的性質に特化した新しいDC分解を用いるが、従来の生成的手法とは異なる。
• 正確な密度推定を避けるために、ソース所属の判別的分類を用いることで、実際の応用においてよりロバストで正確な結果が得られる。
• 理論的分析は、ターゲットとソースの混合分布間のRényi発散に基づき、条件付きMaxentに基づく一般化境界を提供する。

実験結果

リサーチクエスチョン

• RQ1 密度推定に依存する既存の生成的手法よりも、MSAにおける判別的アプローチが優れた性能を示せるか？
• RQ2 条件付き確率に基づく判別的MSA手法に対して、どのような理論的保証を導出できるか？
• RQ3 実際の応用において、提案手法は生成的MSAおよび他のドメイン適応ベースラインを上回る性能を示せるか？
• RQ4 ターゲット分布がソース分布の凸結合でない場合でも、本手法は強力な性能を発揮できるか？

主な発見

• 提案手法DMSAは、CNNおよびAdultデータセットを含むすべてのテストデータセットで、生成的MSA（GMSA）ベースラインを上回った。
• CNNデータセットでは、DMSAはドキュメント非ドキュメント（Doc-NDoc）ドメインの組み合わせで95.4%の精度を達成したのに対し、GMSAは94.7%であった。
• Adultデータセットでは、DMSAは平均75.3%の精度を達成し、GMSAの73.3%を上回った。
• 合成実験では、DMSAはサンプルサイズが異なる状況下でも一貫してGMSAを上回り、収束が速かった。
• 理論的分析により、DMSAの一般化境界が、カーネル密度推定を用いた生成的アプローチのそれよりもタイトであることが示された。
• 特に重複領域でバンド幅選択が不適切な場合にカーネル密度推定が失敗する状況でも、本手法はロバストであることが実証された。