[論文レビュー] DeepJDOT: Deep Joint Distribution Optimal Transport for Unsupervised Domain Adaptation

Bharath Bhushan Damodaran, Benjamin Kellenberger+3 more|arXiv (Cornell University)|Mar 27, 2018

Domain Adaptation and Few-Shot Learning参考文献 51被引用数 372

ひとこと要約

DeepJDOT は共有潜在空間とターゲット領域の分類器を、ソースとターゲット間の共同分布最適輸送の結合を同時最適化することで学習し、強力な教師なしドメイン適応性能を達成します。

ABSTRACT

In computer vision, one is often confronted with problems of domain shifts, which occur when one applies a classifier trained on a source dataset to target data sharing similar characteristics (e.g. same classes), but also different latent data structures (e.g. different acquisition conditions). In such a situation, the model will perform poorly on the new data, since the classifier is specialized to recognize visual cues specific to the source domain. In this work we explore a solution, named DeepJDOT, to tackle this problem: through a measure of discrepancy on joint deep representations/labels based on optimal transport, we not only learn new data representations aligned between the source and target domain, but also simultaneously preserve the discriminative information used by the classifier. We applied DeepJDOT to a series of visual recognition tasks, where it compares favorably against state-of-the-art deep domain adaptation methods.

研究の動機と目的

• ターゲットラベルが利用できない場合に頑健な教師なしドメイン適応を動機づける

提案手法

• 入力を意味的潜在空間へ写像するよう、CNN内に埋め込み g と分類器 f を定義する
• 埋め込み表現とラベル上の共同分布 OT 目的を定式化し、ソースとターゲットのサンプルを結ぶコストを最小化する
• スケーラビリティのために確率的ミニバッチによって OT カップリングを解き、標準のバックプロパゲーションに統合する
• ソース監修とOTベースの整合性の双方を最小化するよう、埋め込み g と分類器 f を共同で更新する
• オプションとして、崩壊的忘却を防ぎ、ドメイン間の識別性を維持するためにソースドメイン損失を含める

実験結果

リサーチクエスチョン

• RQ1 共同分布最適輸送を深層モデルに統合して、ソースとターゲットのドメインを意味的に整合させるにはどうすればよいか？
• RQ2 深い特徴空間での結合を学ぶことは、入力空間での整合と比較してターゲットドメインの識別性を改善するか？
• RQ3 確率的ミニバッチ OT アプローチは、整合性を保ちながら大規模データセットにスケール可能か？
• RQ4 OT目的とともにソースドメインの監督を組み込むと、適応中の崩壊的忘却を防げるか？

主な発見

• DeepJDOT は、数字認識タスクと Office-Home データセットにおいて、いくつかの最先端の教師なしドメイン適応法を上回る。
• 本手法は、ソースとターゲットの分布を整合させ、共有潜在空間でクラス間分離を最大化する埋め込みを学習する。
• 確率的最適化手順により、ミニバッチ内の小さな OT カップリングを解くことで学習をスケーラブルにする。
• アブレーション研究は、結合埋め込み/ラベル整合とソース監督を組み合わせると、部品を個別に使用した場合より良い結果を生むことを示している。
• 可視化は、DeepJDOT が埋め込み空間でソースとターゲットのサンプルをほぼ完璧に整列させ、クラス間のはっきりとした分離を達成していることを示す。