[論文レビュー] Multiple-Source Adaptation for Regression Problems

Judy Hoffman, Mehryar Mohri+1 more|arXiv (Cornell University)|Nov 14, 2017

Domain Adaptation and Few-Shot Learning参考文献 24被引用数 3

ひとこと要約

本稿では、回帰における複数ソースドメイン適応に対して、分布重み付き予測子を提案し、DCプログラミングを用いて二乗損失を最適化することで、任意のソースドメイン混合物に対する頑健な性能を達成する。理論的および実験的に、ターゲット混合物が未知であっても、1つの学習済みモデルがベースライン（特権的およびドメイン適応済みモデルを含む）を上回ることを示している。

ABSTRACT

We present a detailed theoretical analysis of the problem of multiple-source adaptation in the general stochastic scenario, extending known results that assume a single target labeling function. Our results cover a more realistic scenario and show the existence of a single robust predictor accurate for \emph{any} target mixture of the source distributions. Moreover, we present an efficient and practical optimization solution to determine the robust predictor in the important case of squared loss, by casting the problem as an instance of DC-programming. We report the results of experiments with both an artificial task and a sentiment analysis task. We find that our algorithm outperforms competing approaches by producing a single robust model that performs well on any target mixture distribution.

研究の動機と目的

• ターゲットデータが利用可能でない状況下で、複数のソース予測子のみが利用可能な回帰におけるドメイン適応の課題に対処すること。
• 決定論的から確率的状況へと、複数ソース適応の理論的保証を拡張し、現実的なデータ分布をカバーすること。
• 任意のソースドメイン混合物にわたって良好に一般化する1つの頑健な予測子を学習するための効率的な最適化手法を開発すること。
• 人工的および実世界のセンチメント分析タスクにおいて、本手法を実験的に検証し、既存のベースラインを上回ることを示すこと。

提案手法

• 二乗損失の下で、複数ソース適応問題をDCプログラミング問題として定式化し、効率的な最適化を可能にする。
• ターゲット混合物の期待損失を最小化することで得られる重みを用いた、ソース予測子の分布重み付き組み合わせを採用する。
• ラベルなしで、ソースドメインの周辺分布（例：ビグラム言語モデル）の経験的推定値を用いて真の分布を近似する。
• 固定点反復法を用いて得られる最適化問題を解き、ターゲットラベルの必要性を回避する。
• 未知のターゲット混合分布に対して有効な1つの予測子を学習する実用的なアルゴリズムを実装する。
• カーネル法とサンプル再重み付け（KMM）をベースラインとして用いるが、KMMは学習中にラベルなしターゲットデータを必要とする。

実験結果

リサーチクエスチョン

• RQ1 回帰において、複数のソースドメインの混合物が任意に与えられた場合でも、良好に動作する1つの頑健な予測子を学習できるか？
• RQ2 複数ソース適応の理論的保証を、決定論的から確率的ラベル関数へと拡張する方法は何か？
• RQ3 二乗損失の下で、分布重み付き予測子を効率的に計算するための最適化フレームワークは何か？
• RQ4 真のターゲット混合物が未知である状況で、本手法はベースラインと比べてどのように性能を発揮するか？

主な発見

• 提案された分布重み付き（DW）予測子は、すべてのテスト対象混合物（単一ソースおよび複数ソースの組み合わせを含む）において、すべてのベースライン（特権的λ結合およびKMMを含む）を上回る性能を示した。
• ターゲットドメインが単一のソースドメインである場合ですら、DWはソース固有の予測子よりも低いMSEを達成しており、個々のドメインを超えた一般化を示している。
• センチメント分析において、DWは10回の繰り返しで平均MSE 0.142（標準偏差 0.018）を達成し、均等重み結合（0.178）および個々のソースモデルを上回った。
• KMMとは異なり、ラベルなしターゲットデータを必要とせず、1つの頑健なモデルを学習するのに成功した。
• 実験により、分布重み付き予測子の理論的頑健性が、多様な混合分布において実際の状況でも成り立つことが確認された。
• DCプログラミングの定式化により、効率的な最適化が可能となり、本手法は実世界の回帰タスクにおいて実用的であることがわかった。