[論文レビュー] A Theory of Multiple-Source Adaptation with Limited Target Labeled Data

Yishay Mansour, Mehryar Mohri+3 more|arXiv (Cornell University)|Jul 19, 2020

Domain Adaptation and Few-Shot Learning参考文献 62被引用数 6

ひとこと要約

本稿では、限られたラベル付きターゲットデータを前提として、モデル選択と乖離最小化を活用することで、強力な理論的保証と実験的性能を達成する、複数のソースドメインへの適応のための新しいアルゴリズム族—LMSA、LMSA-Boost、LMSA-Min-max—を提案する。主な貢献は、一般化誤差の近似的最適な境界と、特にターゲットラベルが限られる状況下でも優れた精度である。

ABSTRACT

We present a theoretical and algorithmic study of the multiple-source domain adaptation problem in the common scenario where the learner has access only to a limited amount of labeled target data, but where the learner has at disposal a large amount of labeled data from multiple source domains. We show that a new family of algorithms based on model selection ideas benefits from very favorable guarantees in this scenario and discuss some theoretical obstacles affecting some alternative techniques. We also report the results of several experiments with our algorithms that demonstrate their practical effectiveness.

研究の動機と目的

• 豊富なラベル付きソースデータがある一方で、ラベル付きターゲットデータが非常に少ない状況におけるドメイン適応の課題に対処すること。
• 複数のソースドメインを効果的に統合してターゲットドメインの一般化性能を向上させる理論的根拠に基づいたアルゴリズムを開発すること。
• ラベル付きターゲットデータが限られる状況下でも、タイトで有利な学習保証を提供すること。
• 既存手法の理論的限界、例えばペアワイズの乖離に依存する点や、低データ環境下での弱い境界の点を克服すること。
• 標準的なMSAベンチマーク上で提案手法の実験的妥当性を検証し、ベースラインを上回ることを示すこと。

提案手法

• 提案されたLMSAアルゴリズムは、複数のソースドメインからの仮説を組み合わせるモデル選択の原則を用い、ソースドメインとターゲットドメイン間の乖離を最小化するように最適化する。
• コアとなる手法は、ターゲット分布とソース分布の凸結合の間の乖離 $\text{disc}_{\mathscr{H}}({\mathscr{D}}_0, {\mathscr{D}}_\lambda)$ を最小化することである。
• アルゴリズムは、ラベル付きターゲットサンプル数に応じて有利にスケーリングする近似的最適な一般化境界の恩恵を受けるように設計されている。
• LMSA-Min-maxは、乖離のミニマックス定式化を最適化することで、より高いロバストネスを実現し、性能を向上させている。
• 本手法は、ラベル付きソースデータと限られたラベル付きターゲットデータを活用する一方で、ターゲットのラベルなしデータにのみ依存するのを避ける。
• 実験では、MNIST、MNIST-M、SVHN、SynthDigitsを用いた標準的なMSAベンチマークを用い、CNNを訓練し、複数のベースラインとの性能を比較した。

実験結果

リサーチクエスチョン

• RQ1 モデル選択に基づくアプローチは、ラベル付きターゲットデータが限られる複数ソースドメイン適応において、より優れた一般化を達成できるか？
• RQ2 低データターゲット環境下において、乖離に基づく境界とペアワイズの乖離手法の境界は、どのように比較できるか？
• RQ3 個々のソースではなく、ソースドメインの凸結合を用いることで、ターゲット性能にどのような影響を与えるか？
• RQ4 ソース重みに対するミニマックス最適化は、マルチソース適応におけるロバストネスと精度を向上させられるか？
• RQ5 ソースとターゲットデータを単純に連結する手法や、1つのソースのみを用いる手法と比較して、提案手法はどのように差をつけるか？

主な発見

• LMSA-Min-maxは、すべての1280個のターゲットサンプルを $\widehat{{\mathscr{D}}}_0$ として使用した場合、SynthDigitsターゲットドメインで91.7％の精度を達成し、他のベースラインを上回った。
• LMSA-Boostは、MNIST-Mターゲットドメインで89.5％の精度を達成し、ターゲットのみのベースラインや複数ソースを組み合わせたアプローチを著しく上回った。
• LMSAアルゴリズムの性能は、ターゲットサンプル数の増加に伴い向上し、MNISTはソースドメインと類似しているため、少ないサンプル数で高い精度に到達した。
• LMSA-Min-maxは、すべてのターゲットサンプルを $\widehat{{\mathscr{D}}}_0$ として使用した場合に最も優れた性能を示したが、LMSAおよびLMSA-Boostは、1024個を新しいソースとして、256個をターゲットデータとして使用することを好んだ。
• 提案手法は、最良の単一ソースや複数ソースの組み合わせベースラインを一貫して上回り、単純な連結とは対照的に、構造的なソースの組み合わせの価値を示した。
• 理論的解析により、学習保証が近似的に最適であり、ラベル付きターゲットサンプル数に有利に依存することが示された。境界は $\tilde{\mathcal{O}}\left(\sqrt{\frac{d}{m_0}}\right)$ の形を取る。