[論文レビュー] Domain Generalization by Learning and Removing Domain-specific Features

Yu Ding, Lei Wang+4 more|arXiv (Cornell University)|Dec 14, 2022

Domain Adaptation and Few-Shot Learning被引用数 22

ひとこと要約

本論文は、domain-specific featuresをドメイン特有の分類器とエンコーダ–デコーダを利用して明示的に除去し、ドメイン不変なモデルを学習する枠組みであるLRDGを提案し、複数のベンチマークで最先端の結果を達成する。

ABSTRACT

Deep Neural Networks (DNNs) suffer from domain shift when the test dataset follows a distribution different from the training dataset. Domain generalization aims to tackle this issue by learning a model that can generalize to unseen domains. In this paper, we propose a new approach that aims to explicitly remove domain-specific features for domain generalization. Following this approach, we propose a novel framework called Learning and Removing Domain-specific features for Generalization (LRDG) that learns a domain-invariant model by tactically removing domain-specific features from the input images. Specifically, we design a classifier to effectively learn the domain-specific features for each source domain, respectively. We then develop an encoder-decoder network to map each input image into a new image space where the learned domain-specific features are removed. With the images output by the encoder-decoder network, another classifier is designed to learn the domain-invariant features to conduct image classification. Extensive experiments demonstrate that our framework achieves superior performance compared with state-of-the-art methods.

研究の動機と目的

• テクスチャや背景などのドメイン特有の手がかりに依存しない、ドメイン一般化可能なモデルの必要性を動機づける。
• 未見のドメインへの一般化を向上させるため、ドメイン特有の特徴を明示的に除去する手法を提案する。
• 標準的なドメイン一般化ベンチマークでの枠組みの有効性を示し、一般化リスクの界による理論的根拠を提供する。
• ドメイン特有の特徴を除去することがドメイン発散を低減し、ターゲットドメインの性能を向上させることを示す。

提案手法

• N個のドメイン特異的分類器を訓練し、各分類器は1つのソースドメイン内の識別に焦点を当てつつ、他のソースドメイン間の識別は不可能にする。
• ドメイン特異的分類器を凍結し、入力をドメイン特異的特徴が最小化される空間へ写像するエンコーダ–デコーダ M を、不確実性ベースの損失に導かれて訓練する。
• エンコードされた出力に対してドメイン不変の分類器 F を用い、ドメインを跨いで一般化する特徴を学習する。
• 損失の組み合わせを最適化する：L1 = ドメイン特異的分類器の分類＋不確実性、L2 = ドメイン不変モデルの分類＋不確実性＋再構成。
• ドメイン特有の特徴を除去したときに、ドメイン発散 (epsilon) とターゲットドメインのギャップ (gamma) が減少することを示す一般化リスク界を用いた理論的解釈を提供する。

実験結果

リサーチクエスチョン

• RQ1 ドメイン特有の特徴を明示的に除去することで、未見のドメインへの一般化を改善できるか。
• RQ2 ドメイン特異的分類器とエンコーダ–デコーダは、ドメイン特有の手掛かりを効果的に抑制しつつ、ドメイン不変な情報を保持するか。
• RQ3 学習されたドメイン不変モデルは、未見のドメインで最先端手法と比較してより良い性能を達成するか。

主な発見

• LRDGは、3つのドメイン一般化ベンチマークで複数のバックボーンとともに優位あるいは競争力のある性能を達成する。
• ドメイン特有の特徴を除去すると、写像データ上の代理A距離で測定されるペア間のドメイン発散が減少する。
• LRDG適用後、最も近いミックス源ドメインへのターゲットドメイン発散が減少し、アライメントが改善されることを示す。
• 実験は、PACS、VLCS、Office-Homeデータセットで、様々なバックボーンに渡りLRDGが最先端手法を上回るか同等であることを示す。
• 理論分析はLRDGをドメイン一般化リスク界に関連づけ、ドメイン特有の特徴を除去することで界の成分 gamma と epsilon を低下させると主張する。