[論文レビュー] Gradual Domain Adaptation in the Wild:When Intermediate Distributions are Absent

Samira Abnar, Rianne van den Berg+4 more|arXiv (Cornell University)|Jun 10, 2021

Domain Adaptation and Few-Shot Learning参考文献 50被引用数 4

ひとこと要約

本稿では、特徴空間におけるソースおよびターゲット表現の線形補間によって仮想サンプルを生成することにより、中間分布が存在しない状況下での段階的ドメイン適応のためのGIFTという手法を提案する。GIFTが中間分布が欠落している状況で反復的自己訓練を上回ることを示し、自然な分布シフトを伴う合成および実世界のベンチマークにおいて顕著な精度向上を達成している。

ABSTRACT

We focus on the problem of domain adaptation when the goal is shifting the model towards the target distribution, rather than learning domain invariant representations. It has been shown that under the following two assumptions: (a) access to samples from intermediate distributions, and (b) samples being annotated with the amount of change from the source distribution, self-training can be successfully applied on gradually shifted samples to adapt the model toward the target distribution. We hypothesize having (a) is enough to enable iterative self-training to slowly adapt the model to the target distribution, by making use of an implicit curriculum. In the case where (a) does not hold, we observe that iterative self-training falls short. We propose GIFT, a method that creates virtual samples from intermediate distributions by interpolating representations of examples from source and target domains. We evaluate an iterative-self-training method on datasets with natural distribution shifts, and show that when applied on top of other domain adaptation methods, it improves the performance of the model on the target dataset. We run an analysis on a synthetic dataset to show that in the presence of (a) iterative-self-training naturally forms a curriculum of samples. Furthermore, we show that when (a) does not hold, GIFT performs better than iterative self-training.

研究の動機と目的

• ソースとターゲットの間の途中分布が入手できない状況におけるドメイン適応の課題に対処すること。
• 中間分布が存在する場合に、反復的自己訓練が暗黙的にカリキュラムを形成できるかどうかを調査すること。
• 中間データが欠落している場合でも、効果的な段階的適応を可能にする手法を提案すること。
• さまざまな分布シフト条件下での自己教師付きドメイン適応におけるカリキュラム学習の有効性を評価すること。

提案手法

• GIFTは、ニューラルネットワークの特徴空間において、ソースデータとターゲットデータの表現の間を線形補間することで仮想の中間サンプルを生成する。
• 訓練中に補間係数を段階的に増加させることで、ソースからターゲット分布に向かうカリキュラムを模倣する。
• 固定された補間スケジュールを用いることで、仮想例の難易度を制御し、ソースからターゲットへの滑らかな移行を確保する。
• 仮想サンプルと自己訓練を組み合わせ、疑似ラベルを生成して反復的にモデルを微調整する。
• 本手法は、自然な分布シフトを伴う合成ベンチマークおよび実世界のデータセットの両方で評価される。
• 反復的訓練中に、信頼度ベースのフィルタリングを適用して高品質な疑似ラベル付き例を選別する。

実験結果

リサーチクエスチョン

• RQ1 中間分布が存在する場合に、反復的自己訓練は暗黙的にカリキュラムを形成できるか？
• RQ2 中間分布が欠落している場合、反復的自己訓練のドメイン適応性能にどのような影響を与えるか？
• RQ3 実際の中間データが欠落している状況で、特徴空間内での補間により生成された仮想中間サンプルは、カリキュラムを効果的に模倣できるか？
• RQ4 限られた訓練イテレーション数やターゲットドメインの多様性が低い状況下で、GIFTと反復的自己訓練の性能および頑健性はどのように比較できるか？

主な発見

• 中間分布が利用可能な場合、反復的自己訓練は暗黙のカリキュラムを形成し、ソースデータでのみ学習する場合と比較して、2つのムーンデータセットで約40%の性能向上を達成する。
• 中間分布が欠落している状況では、反復的自己訓練は効果的な適応が行えず、同じ2つのムーンタスクにおいては最小限の性能向上にとどまる。
• 中間データが存在しない2つのムーンデータセットにおいて、GIFTは性能を約20%向上させ、分布ギャップの橋渡しの有効性を示している。
• 制御されたシフトを伴う合成CIFAR-10ベンチマークでは、GIFTは反復的自己訓練を一貫して上回り、特に訓練イテレーション数が限られている状況で顕著である。
• ターゲット分布の多様性が低い状況では、GIFTは反復的自己訓練よりも効果的であり、仮想サンプルを通じて難易度のバランスの取れた進行を保証する。
• GIFTと反復的自己訓練の両者とも、ターゲット分布の難易度が徐々に上がるサブセットに対して、モデルの信頼度と精度が上昇するという点で、カリキュラムに類似した行動を示している。