[論文レビュー] Mapping conditional distributions for domain adaptation under generalized target shift

Matthieu Kirchmeyer, Alain Rakotomamonjy+2 more|arXiv (Cornell University)|Oct 26, 2021

Domain Adaptation and Few-Shot Learning参考文献 36被引用数 4

ひとこと要約

本稿では、一般化されたターゲットシフト（GeTarS）の下で、判別的構造を保持し、ターゲットリスクを明示的に制御可能な、ニューラルネットワークを用いた最適輸送を介したソース表現からターゲット表現へのマッピングを行う新しいドメイン適応手法、OSTARを提案する。この手法は、ドメイン不変表現を強制しない条件下でも、強力な理論的保証のもとで、輸送マップ、クラス割合、分類器を同時に学習することで、最先端の手法を上回る性能を達成する。

ABSTRACT

We consider the problem of unsupervised domain adaptation (UDA) between a source and a target domain under conditional and label shift a.k.a Generalized Target Shift (GeTarS). Unlike simpler UDA settings, few works have addressed this challenging problem. Recent approaches learn domain-invariant representations, yet they have practical limitations and rely on strong assumptions that may not hold in practice. In this paper, we explore a novel and general approach to align pretrained representations, which circumvents existing drawbacks. Instead of constraining representation invariance, it learns an optimal transport map, implemented as a NN, which maps source representations onto target ones. Our approach is flexible and scalable, it preserves the problem's structure and it has strong theoretical guarantees under mild assumptions. In particular, our solution is unique, matches conditional distributions across domains, recovers target proportions and explicitly controls the target generalization risk. Through an exhaustive comparison on several datasets, we challenge the state-of-the-art in GeTarS.

研究の動機と目的

• ソースとターゲットドメイン間でクラス事前確率と条件付き分布が両方シフトする一般化ターゲットシフト（GeTarS）の下での教師なしドメイン適応の課題に対処すること。
• 敵対的不安定性や判別的パワーの損失といった、従来のドメイン不変表現学習手法の限界を克服すること。
• 強制的な表現不変性を避けることで、元の問題の構造的整合性を保つこと。
• 条件付き分布アライメント、ターゲット割合回復、一般化リスクの明示的制御に関して、強い理論的保証を提供すること。
• 多様なドメイン、特にビジョン以外のタスクにも適用可能なスケーラブルで柔軟かつ安定な手法を開発すること。

提案手法

• ソースとターゲットの条件付き分布間のニューラル最適輸送（OT）マップを学習することで、ドメイン不変性を強制せずに表現をアライメントするOSTARを提案する。
• バッチ正則化とReLU活性化関数を備えた順方向ネットワークとして実装された共有ニューラルネットワークベースのOTマップを用い、ソース特徴量をターゲット特徴量にマップする。
• 誤り行列推定器を用いた凸最適化問題によりターゲットクラス割合を推定し、訓練目的関数におけるサンプルの再重み付けを可能にする。
• OTマップ、クラス割合推定、再重み付けされた損失で訓練される分類器という3つのコンポonentを同時に最適化する。
• 最適化中にターゲットリスクを明示的に制御するために、ワッサーシュタインに基づく一般化バウンドを採用する。
• 2段階の訓練手順を採用：まずOTと分類の組み合わせ目的関数を最小化し、次に改善されたアライメントを達成するための一般化目的関数で精練する。

実験結果

リサーチクエスチョン

• RQ1 GeTarSの下で、ドメイン不変表現を強制しない条件下でも、ニューラル最適輸送マップがソースとターゲットの条件付き分布を効果的にアライメントできるか？
• RQ2 OSTARは、ドメイン不変手法と比較して、ターゲット表現の判別的構造をよりよく保持できるか？
• RQ3 OSTARはターゲットクラス割合を正確に回復でき、それを用いて一般化リスクの制御を改善できるか？
• RQ4 OSTARは、ラベルシフトの程度が異なる多様なデータセットにおいて、最先端の手法と比較して精度と頑健性に優れているか？
• RQ5 特に一意性と分布マッチングに関して、弱い仮定のもとでOSTARがどのような理論的保証を提供するか？

主な発見

• OSTARはGeTarSの下でDigits、VisDA-12、Office-31、Office-Homeで最先端の性能を達成し、IW-WD、MARSc、MARSgなどの手法を上回る。
• VisDA-12ではトップ1精度が86.7%に達し、前回のSOTA（85.2%）を上回った。
• 高いラベル不均衡が見られるOffice-31では、最良のベースラインと比較して精度が4.3ポイント向上した。
• アブレーションスタディにより、クラス割合が正しく推定された場合に性能が向上することを確認し、ターゲットクラス割合の回復が高精度で達成されていることが示された。
• 理論的分析により、OSTARの解が一意であり、最適解でソースとターゲットの条件付き分布がマッチングしていることが確認され、ターゲットリスクに対してワッサーシュタインに基づくバウンドが提供されている。
• OSTARはベースライン手法よりも収束が早く、Digitsでは50エポック、より大きなデータセットでは100エポックで安定した訓練が可能である。