[論文レビュー] Feature Alignment and Restoration for Domain Generalization and Adaptation

Xin Jin, Cuiling Lan+2 more|arXiv (Cornell University)|Jun 22, 2020

Domain Adaptation and Few-Shot Learning参考文献 61被引用数 35

ひとこと要約

論文は、ドメインを跨ぐ特徴整列を実行し、残差からタスク関連情報を復元する統一フレームワーク FAR を紹介し、ドメイン一般化 (DG) と無監督ドメイン適応 (UDA) の両方を改善します。

ABSTRACT

For domain generalization (DG) and unsupervised domain adaptation (UDA), cross domain feature alignment has been widely explored to pull the feature distributions of different domains in order to learn domain-invariant representations. However, the feature alignment is in general task-ignorant and could result in degradation of the discrimination power of the feature representation and thus hinders the high performance. In this paper, we propose a unified framework termed Feature Alignment and Restoration (FAR) to simultaneously ensure high generalization and discrimination power of the networks for effective DG and UDA. Specifically, we perform feature alignment (FA) across domains by aligning the moments of the distributions of attentively selected features to reduce their discrepancy. To ensure high discrimination, we propose a Feature Restoration (FR) operation to distill task-relevant features from the residual information and use them to compensate for the aligned features. For better disentanglement, we enforce a dual ranking entropy loss constraint in the FR step to encourage the separation of task-relevant and task-irrelevant features. Extensive experiments on multiple classification benchmarks demonstrate the high performance and strong generalization of our FAR framework for both domain generalization and unsupervised domain adaptation.

研究の動機と目的

• ドメイン横断の特徴整列における識別力の喪失を動機づけて対処する。
• 特徴整列を復元ステップと組み合わせて、タスク関連情報を保存する統一フレームワークを提案する。
• デュアルランキングエントロピー損失を用いて、タスク関連残差特徴とタスク非関連残差特徴を分離する。
• DG および UDA のベンチマークで最先端の性能を示し、設計上の選択を分析する。

提案手法

• 注意深く選択された特徴に対して適応的特徴整列（FA）を適用し、ドメイン間分布の差異を低減する。
• 元の特徴と整列後の特徴との残差からタスク関連情報を蒸留する特徴復元（FR）ステップを導入する。
• 空間およびチャネル注意に基づくゲーティング機構を用いて、残差をタスク関連 R+ とタスク非関連 R− に分離する。
• 復元後の識別を促進し干渉を抑制するため、デュアルランキングエントロピー損失を課す。
• ドメイン固有のエキスパート教師に導かれた共有分類器で訓練し、分類器間の一貫性制約を使用する。
• 訓練時にはドメインごとの教師を任意で使用し、L1一貫性項を付与する；推論時は単一の共有分類器を使用する。

実験結果

リサーチクエスチョン

• RQ1 特徴整列は識別力を犠牲にすることなく、複数のドメインにわたる一般化を改善できますか？
• RQ2 整列後の特徴からタスク関連情報を復元することは、DGおよびUDAの性能向上につながりますか？
• RQ3 デュアルランキングエントロピー損失を用いた残差情報の分離は、クラス間の特徴分離を高めますか？
• RQ4 注意機構を用いた特徴選択と教師を用いた訓練は、跨域分類にどのような影響を与えますか？

主な発見

• FAR は複数のデータセットにわたる DG および UDA ベンチマークで最先端の手法を上回る。
• 特徴整列だけでは識別力が低下する可能性があるが、復元は識別力を回復する。
• デュアルランキングエントロピー損失は、タスク関連情報とタスク非関連情報の分離を改善する。
• FA のための注意機構による適応的特徴選択は、単純な畳み込みベースのマッピングよりも良い整列をもたらす。
• 教師主導の訓練と共有分類器は、性能向上と推論の複雑さを削減する。
• アブレーション研究は、FRモジュールとDRE損失が全体の性能にとって重要であることを確認する。