[論文レビュー] Domain Generalization Using a Mixture of Multiple Latent Domains

Toshihiko Matsuura, Tatsuya Harada|arXiv (Cornell University)|Nov 18, 2019

Domain Adaptation and Few-Shot Learning参考文献 33被引用数 25

ひとこと要約

本稿では、ドメイン識別子が不明な複数のラベルなし潜在ドメインの混合状況を想定した、新しいドメイン一般化手法を提案する。畳み込み統計から得られるスタイル特徴を活用してサンプルを疑似ドメインにクラスタリングし、敵対的学習によりドメイン不変特徴抽出器を訓練することで、ドメインラベルを一切必要とせず、従来の真のドメインアノテーションに依存する手法を上回る最先端の性能を達成する。

ABSTRACT

When domains, which represent underlying data distributions, vary during training and testing processes, deep neural networks suffer a drop in their performance. Domain generalization allows improvements in the generalization performance for unseen target domains by using multiple source domains. Conventional methods assume that the domain to which each sample belongs is known in training. However, many datasets, such as those collected via web crawling, contain a mixture of multiple latent domains, in which the domain of each sample is unknown. This paper introduces domain generalization using a mixture of multiple latent domains as a novel and more realistic scenario, where we try to train a domain-generalized model without using domain labels. To address this scenario, we propose a method that iteratively divides samples into latent domains via clustering, and which trains the domain-invariant feature extractor shared among the divided latent domains via adversarial learning. We assume that the latent domain of images is reflected in their style, and thus, utilize style features for clustering. By using these features, our proposed method successfully discovers latent domains and achieves domain generalization even if the domain labels are not given. Experiments show that our proposed method can train a domain-generalized model without using domain labels. Moreover, it outperforms conventional domain generalization methods, including those that utilize domain labels.

研究の動機と目的

• 元データが既知のドメインラベルのない複数の潜在ドメインの混合であるような現実的状況におけるドメイン一般化を解決すること。
• 画像のスタイルをドメイン識別の代理として用い、ラベルなしデータから潜在ドメインを自動で発見する手法を開発すること。
• 真のドメインアノテーションに依存せずにドメイン不変特徴抽出器を訓練し、未観測のターゲットドメインへの一般化性能を向上させること。
• クラスタリングによるスタイル特徴から導出された疑似ドメインラベルが、人間によるアノテーションドメインラベルを上回るモデル性能を達成するかどうかを評価すること。

提案手法

• 畳み込み層の統計（平均および標準偏差）を用いてドメインを区別する特徴を抽出し、画像スタイルを捉えることが知られている。
• k-meansや類似手法を用いて抽出されたスタイル特徴をクラスタリングし、サンプルに疑似ドメインラベルを割り当てる。
• 訓練中に繰り返し疑似ドメインラベルを再割り当てし、モデルが学習した特徴に基づいてクラスタ割り当てを最適化する。
• すべての疑似ドメイン間でのドメインシフトを最小化するように、敵対的学習により共有特徴抽出器を訓練する。
• 予測の信頼性を高め、訓練中のロバスト性を向上させるためにエントロピー損失を統合する。
• 二段階の訓練プロセスを採用：最初に初期特徴を用いてサンプルをクラスタリングし、その後複数エポックにわたり特徴抽出器と疑似ラベルを同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 訓練時にドメインラベルが一切存在しない状況でも、ドメイン一般化モデルが高い性能を達成できるか？
• RQ2 スタイル特徴に基づくクラスタリングが、混合元データ内の潜在ドメインを効果的に発見できるか？
• RQ3 学習済み特徴から導出された疑似ドメインラベルが、人間によるアノテーションドメインラベルを上回る一般化性能を発揮できるか？
• RQ4 誤ったまたは変動する数の仮定された疑似ドメインに対して、この手法はどれほど頑健か？
• RQ5 固定ラベリングと比較して、疑似ドメインラベルの反復的再割り当てがモデル性能を向上させるか？

主な発見

• 提案手法は、ドメインラベルを一切使用せずにPACSなどのベンチマークデータセットで最先端の性能を達成し、ラベルを必要とする従来のドメイン一般化手法を上回る。
• 除去実験では、敵対的損失またはエントロピー損失を削除すると性能が著しく低下することが示され、これらがドメイン一般化において重要であることが確認された。
• 生の畳み込み特徴よりもスタイルベースの特徴を用いたクラスタリングの方が、元のドメインとのNMIが高いため、より正確なドメイン発見が可能であることが実証された。
• 本手法は疑似ドメイン数に対して頑健である：仮定された疑似ドメイン数が元のドメイン数と異なっていても、分類精度は安定している。
• 固定ラベリングと比較して、疑似ドメインラベルの反復的再割り当てが性能を向上させることから、動的最適化が特徴の分離を高めることを示している。
• 訓練全体を通じて疑似ドメインラベルと元のドメインとの間のNMIが高く維持されていることから、クラスタリングがオブジェクトカテゴリではなくドメインごとにサンプルを分離していることが確認された。