[論文レビュー] Feature-Critic Networks for Heterogeneous Domain Generalization

Yiying Li, Yongxin Yang+2 more|arXiv (Cornell University)|Jan 31, 2019

Domain Adaptation and Few-Shot Learning参考文献 32被引用数 74

ひとこと要約

本論文は、Feature-Critic Networks を提案し、ドメインおよびラベルのシフトに頑健な普遍的特徴抽出器を訓練する補助損失をメタ学習します。異種および同種のドメイン一般化設定で評価され、多様な unseen domains and categories に対するオフ・ザ・シェルフ特徴を改善し、いくつかのベースラインを上回っています。

ABSTRACT

The well known domain shift issue causes model performance to degrade when deployed to a new target domain with different statistics to training. Domain adaptation techniques alleviate this, but need some instances from the target domain to drive adaptation. Domain generalisation is the recently topical problem of learning a model that generalises to unseen domains out of the box, and various approaches aim to train a domain-invariant feature extractor, typically by adding some manually designed losses. In this work, we propose a learning to learn approach, where the auxiliary loss that helps generalisation is itself learned. Beyond conventional domain generalisation, we consider a more challenging setting of heterogeneous domain generalisation, where the unseen domains do not share label space with the seen ones, and the goal is to train a feature representation that is useful off-the-shelf for novel data and novel categories. Experimental evaluation demonstrates that our method outperforms state-of-the-art solutions in both settings.

研究の動機と目的

• ターゲットドメインが seen ドメインと異なる場合のドメインシフトを動機づけ、対処する。
• 特徴抽出をドメイン不変表現へ導く学習-to-学習の補助損失を提案する。
• ターゲットドメインが離散的なラベル空間を持つ異種DGへ拡張する。
• 未知のドメインでオフ・ザ・シェルフの単純な分類器と共存する頑健な特徴抽出を実証する。

提案手法

• ソースドメインを仮想的な訓練/検証ドメインに分割してドメインシフトを模倣する。
• モデルを shared feature extractor f_theta と domain-specific classifiers g_phi に分解し、ドメイン間で universal な f_theta を使用する。
• 抽出特徴 F=f_theta(X) に対して作用し、f_theta の訓練の補助損失を提供する learned feature-critic h_omega を導入する。
• 補助損失を用いた supervised loss と合わせて特徴抽出器と分類器をエンドツーエンドで訓練し、検証ドメインの改善を測る meta-loss によって h_omega を更新する。
• h_omega を特徴バッチ行の置換不変関数として設計する。例えば set-embedding（MLP 処理特徴の平均）や Flattened covariance など、非負のスカラーを生み出す。
• メタ学習ループ（Algorithm 2）を用いて、補助損失を最適化し meta-validation セットでの改善を最大化する。

実験結果

リサーチクエスチョン

• RQ1 未知のドメインに一般化できる特徴抽出器を、離散的なラベル空間を持つ可能性がある場合にどのように訓練できるか？
• RQ2 learned auxiliary loss（feature-critic）は、ターゲットドメインデータなしでドメインシフトに頑健な特徴学習を導くことができるか？
• RQ3 Feature-Critic をメタ学習することで、従来の DG と異種 DG の性能が改善されるか？
• RQ4 Feature-Critic で訓練されたオフ・ザ・シェルフ特徴は、target ドメインで SVM/KNN のような simple classifiers と組み合わせたとき効果的か？
• RQ5 大規模な異種 DG ベンチマーク（Visual Decathlon）および標準 DG ベンチマーク（Rotated MNIST、PACS）で、従来手法と比較してどのような性能を示すか？

主な発見

• Feature-Critic は、異種 DG（Visual Decathlon）でベースラインと比べて、ドメインと分類器を跨いだ一般に優れた性能を達成する。
• 補助損失を学習することで、ターゲットデータが限られている場合や利用できない場合でも、強力なターゲットドメイン分類を可能にする頑健なオフ・ザ・シェルフ特徴を得られる。
• homogeneous DG 設定（Rotated MNIST、PACS）では、Feature-Critic はいくつかの以前の DG 手法を上回り、異なるデータ分割や few-/k-shot シナリオでも競争力を維持する。
• 学習全体を通じて learned auxiliary loss が適応し、meta-loss 分析は critic が有用な generalisation 知識を吸収するにつれて収束・安定化することを示す。
• このアプローチは大規模 DG ベンチマーク（VD）への拡張性を示し、従来の ImageNet Features や標準的なアグリゲーションベースのベースラインよりも一貫した改善を示す。