[論文レビュー] Gradual Domain Adaptation without Indexed Intermediate Domains

Hong-You Chen, Wei‐Lun Chao|arXiv (Cornell University)|Jul 11, 2022

Domain Adaptation and Few-Shot Learning参考文献 45被引用数 13

ひとこと要約

この論文では、事前に定義されたドメインラベルに依存せずに、インデックスなしのラベルなしデータから意味のある中間ドメインの順序を発見する、新しいGDAフレームワークIDOLを提案する。粗いドメインスコアリングのための段階的ドメイン識別器の訓練と、細かいドメインの精錬のためのサイクル整合性損失を組み合わせることで、IDOLは事前にラベル付けされた中間ドメインを用いたGDAと同等またはそれ以上の性能を達成し、ドメインインデックスが利用できない現実世界のシナリオにおけるGDAの適用可能性を顕著に向上させる。

ABSTRACT

The effectiveness of unsupervised domain adaptation degrades when there is a large discrepancy between the source and target domains. Gradual domain adaptation (GDA) is one promising way to mitigate such an issue, by leveraging additional unlabeled data that gradually shift from the source to the target. Through sequentially adapting the model along the "indexed" intermediate domains, GDA substantially improves the overall adaptation performance. In practice, however, the extra unlabeled data may not be separated into intermediate domains and indexed properly, limiting the applicability of GDA. In this paper, we investigate how to discover the sequence of intermediate domains when it is not already available. Concretely, we propose a coarse-to-fine framework, which starts with a coarse domain discovery step via progressive domain discriminator training. This coarse domain sequence then undergoes a fine indexing step via a novel cycle-consistency loss, which encourages the next intermediate domain to preserve sufficient discriminative knowledge of the current intermediate domain. The resulting domain sequence can then be used by a GDA algorithm. On benchmark data sets of GDA, we show that our approach, which we name Intermediate DOmain Labeler (IDOL), can lead to comparable or even better adaptation performance compared to the pre-defined domain sequence, making GDA more applicable and robust to the quality of domain sequences. Codes are available at https://github.com/hongyouc/IDOL.

研究の動機と目的

• 段階的ドメイン適応（GDA）が事前に定義されたインデックス付きの中間ドメインを必要とすることの制限を解消すること。実際には、このようなドメインラベルが得られないことが一般的である。
• 事前にラベル付けされていないラベルなしの中間データから意味のある中間ドメインの順序を自動で発見する手法を開発すること。
• ドメインラベルや時系列インデックスが利用できない現実世界の設定において、GDAの頑健性と適用可能性を向上させること。
• 発見されたドメイン順序が、ソースからターゲットへの識別的知識を保持し、効果的な段階的適応を可能にすること。

提案手法

• 粗いドメイン発見段階では、最初にソースおよびターゲットデータを用い、段階的に中間データを組み込むことで、ソースまたはターゲットに近いかどうかを推定するプログレッシブに訓練されたドメイン識別器を用いる。
• ドメイン識別器は反復的に訓練され、ソースまたはターゲットに次第に近いデータポイントを追加することで、多様体に配慮したドメインスコアリングを向上させる。
• 細かいインデックス付け段階では、サイクル整合性損失を用いて、次の隣接ドメインを特定する。これは、次のドメインに適応したモデルが、元のドメインに「再適応」され、同じ疑似ラベルを回復できることを保証する。
• 自己学習を用いて現在のドメインの疑似ラベルを生成し、それらを次のドメインの学習に使用する。サイクル整合性は再構成損失によって強制される。
• このフレームワークは、グリーディで逐次的な方法で適用され、インデックスなしの中間データから完全なドメイン順序を構築する。
• 得られたドメイン順序は、任意の標準的なGDAアルゴリズムと組み合わせて使用でき、適応性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 時系列情報などの補助情報に依存せずに、インデックスなしのラベルなしの中間データからドメイン順序を効果的に発見できるか？
• RQ2 粗い段階から細かい段階へのフレームワークは、ヒューリスティック法や直接的なクラスタリング手法と比較して、中間ドメイン発見の質をどのように向上させるか？
• RQ3 サイクル整合性損失は、連続する中間ドメイン間で識別的知識をどれほど効果的に保持するか？
• RQ4 提案手法は、事前に定義されたドメイン順序を用いたGDAと同等またはそれ以上の性能を達成するか？

主な発見

• IDOLは、ベンチマークデータセットにおいて、事前にラベル付けされたドメイン順序を用いたGDAと同等またはそれ以上のターゲット精度を達成し、実世界のシナリオにおける有効性を示している。
• プログレッシブなドメイン識別器は、特にデータ多様体構造を捉える能力において、代替の距離推定手法を上回る性能を示している。
• サイクル整合性損失は、連続するドメイン間で知識転送の一貫性を確保することで、ドメイン順序の質を顕著に向上させている。
• CIFAR10からSTLへのUDAベンチマークでは、IDOLを用いたGDAは、直接的なUDAおよび事前にラベル付けされたドメインを用いたGDAを上回り、低信頼度の中間データの80％を除外した場合でも同様の優位性を示している。
• IDOLはノイズや外れ値を含む中間データに対しても頑健であり、データの大部分を除外しても高い性能を維持している。