[論文レビュー] Algorithms and Theory for Multiple-Source Adaptation

Judy Hoffman, Mehryar Mohri+1 more|arXiv (Cornell University)|May 20, 2018

Domain Adaptation and Few-Shot Learning被引用数 108

ひとこと要約

論文は複数ソースのドメイン適応のための正規化された distribution-weighted の組み合わせを提案し、決定論的および確率的設定の双方でクロスエントロピー損失を含む強力な理論保証を証明し、混合重みを計算するための DC-programming に基づくアルゴリズムを提供し、実世界データセットにわたる頑健性と優れた経験的性能を示します。

ABSTRACT

This work includes a number of novel contributions for the multiple-source adaptation problem. We present new normalized solutions with strong theoretical guarantees for the cross-entropy loss and other similar losses. We also provide new guarantees that hold in the case where the conditional probabilities for the source domains are distinct. Moreover, we give new algorithms for determining the distribution-weighted combination solution for the cross-entropy loss and other losses. We report the results of a series of experiments with real-world datasets. We find that our algorithm outperforms competing approaches by producing a single robust model that performs well on any target mixture distribution. Altogether, our theory, algorithms, and empirical results provide a full solution for the multiple-source adaptation problem with very practical benefits.

研究の動機と目的

• (target domain データへのアクセスなし、すべてのソースをまとめて利用しない) 複数のソースドメインからの学習を動機づける。
• ソース分布の混合としてターゲット分布を持つ確率的設定へ Mansour らの結果を拡張する。
• クロスエントロピーや他の損失と機能する正規化された distribution-weighted の組み合わせを導入する。
• 収束保証を伴う DC-programming による混合重み z の計算アルゴリズムを提供する。
• 実世界データセットでの広範な実験を通じて頑健性と実践的利点を示す。

提案手法

• 回帰モデルおよび確率モデルのための distribution-weighted の結合 h_z^eta を定義する（式 (1) および (2)）。
• 凸結合のみでは不充分であり distribution-weighted ルールが有利な保証を提供することを示す。
• 定理1を証明： mild な発散条件の下でターゲット D_T に対して L(D_T, h_z^eta) が小さくなる z と eta の存在。
• 正規化された予測を用いたクロスエントロピー損失に特化し、正規化版 ar{h}_z^eta を導入してその保証を証明する（定理3）。
• 最適化目的の DC 分解を開発し、対称性を持つ DC-programming アルゴリズムを用いて z を求める（問題 (4) および式 (5)-(6)）。
• ソース密度が直接利用できない場合にアプローチを実装するための経験的密度推定ベースの手順を提供する（系 Corollary 11）。

実験結果

リサーチクエスチョン

• RQ1 ターゲットデータなしで、ターゲット混合に対しても分布加重結合が小さな損失を達成し得るか？
• RQ2 正規化と確率的拡張はクロスエントロピー損失に対する強い保証を保持するか？
• RQ3 実際に最適な混合重み z を効率的に計算するにはどうするべきか？
• RQ4 密度推定誤差が理論保証と経験的性能に与える影響は？

主な発見

• 定理1は、発散条件が緩い場合にターゲット上で分布加重予測子 h_z^eta の損失を低く保つ混合 z およびマージンパラメータ eta の存在を保証する。
• 系 Corollary 2 は頑健性を示す：条件付き確率がソースに依存しない場合、任意の混合に対する損失は最大でも epsilon+delta。
• クロスエントロピー損失について、定理3 は同様の頑健性保証を持つ正規化された distribution-weighted.pred を提供する。
• z を求めるための DC-programming アルゴリズムは停留点へ収束し、実用的な最適性評価のためのテストを提供する。
• 感情分析・数字認識・Office データセットでの実験は、DW（distribution-weighted）法がベースラインを上回り、ターゲット混合に対して頑健性を保つことを示し、ターゲットデータを必要としない。
• DW は privileged（lambda-comb）やターゲット認識法にも健闘する一方でターゲットラベルや再訓練を必要としない。