[論文レビュー] Joint Distribution Optimal Transportation for Domain Adaptation

Courty, Nicolas, Rémi Flamary+2 more|arXiv (Cornell University)|May 24, 2017

Domain Adaptation and Few-Shot Learning参考文献 32被引用数 69

ひとこと要約

JDOTは最適輸送を介してジョイント分布を整合させる predictor f を学習し、教師なしドメイン適応でターゲットリスク界を直接最適化する。

ABSTRACT

This paper deals with the unsupervised domain adaptation problem, where one wants to estimate a prediction function $f$ in a given target domain without any labeled sample by exploiting the knowledge available from a source domain where labels are known. Our work makes the following assumption: there exists a non-linear transformation between the joint feature/label space distributions of the two domain $\mathcal{P}_s$ and $\mathcal{P}_t$. We propose a solution of this problem with optimal transport, that allows to recover an estimated target $\mathcal{P}^f_t=(X,f(X))$ by optimizing simultaneously the optimal coupling and $f$. We show that our method corresponds to the minimization of a bound on the target error, and provide an efficient algorithmic solution, for which convergence is proved. The versatility of our approach, both in terms of class of hypothesis or loss functions is demonstrated with real world classification and regression problems, for which we reach or surpass state-of-the-art results.

研究の動機と目的

• ターゲットラベルが入手できない場合の教師なしドメイン適応を動機づける。
• ソースとターゲット間で (X,Y) を整列させるジョイント分布 OT フレームワークを提案する。
• 整合の下で JDOT がターゲット誤差を最小化することを示す境界を導出する。
• f と輸送計画の学習に対する収束保証を備えたアルゴリズムを提供する。
• 実データの分類および回帰タスクで JDOT の有効性を示す。

提案手法

• P_s と P_t^f を、f(X) を用いてジョイントソース分布と proxy ターゲット分布として定義する。
• D((x_s,y_s);(x_t,f(x_t))) の輸送多項体で min_f, gamma をとる JDOT を定式化する。D = alpha d(x_s,x_t) + L(y_s,f(x_t)) である。
• 経験的ジョイント分布間の1-Wasserstein距離 W_1 を用いる。
• OT計画 gamma と予測子 f の間で交互にブロック座標降下法を用いて解く。
• 過学習を防ぐための f への正規化を提供し、収束保証について論じる。
• 特別な場合が RKHS やニューラルネットワークを用いた回帰/分類へ縮退する様子を説明する。

実験結果

リサーチクエスチョン

• RQ1 OT によるジョイント分布の整合は、教師なし DA における周辺分布シフトと条件付きシフトの両方を橋渡しできるか？
• RQ2 ターゲットリスクを最小化するために、predictor f と最適輸送計画をどのように共同で学習するか？
• RQ3 JDOT フレームワーク は、輸送計画とターゲット誤差を結びつける理論的保証を提供するか？
• RQ4 JDOT は、共通の損失関数と仮説空間を用いて回帰と分類の双方に適用できるか？

主な発見

• JDOT は Caltech-Office、Amazon レビュー、Wifi ローカリゼーションを含む複数のドメイン適応タスクで一貫してベースラインを上回る。
• この手法は最適輸送計画を用いてソースラベルをターゲット实例へ伝播・融合させ、転送性能を向上させる。
• JDOT は標準的な条件の下でブロック座標最適化手法の収束保証を提供する。
• 経験的結果は、JDOT がカーネル法やニューラルネットワークなど多様な仮説空間で、回帰および分類問題において競争力のあるまたは優れた性能を発揮することを示す。
• 著者らはオープンソースの実装を提供し、実データセットに対する実用性を示している。