[論文レビュー] Adversarial Invariant Feature Learning with Accuracy Constraint for Domain Generalization

Kei Akuzawa, Yusuke Iwasawa+1 more|arXiv (Cornell University)|Apr 29, 2019

Domain Adaptation and Few-Shot Learning参考文献 39被引用数 21

ひとこと要約

本稿では、敵対的訓練中に精度制約付きドメイン不変性を強制することで、ドメイン不変性と分類精度の明示的バランスをとる、AFLACと呼ばれる新しいドメイン一般化手法を提案する。ドメイン-クラス依存性下での不変性と精度のトレードオフを理論的に分析することで、合成および実世界のデータセットにおいて最先端の性能を達成し、既存の不変特徴学習手法を上回りつつ、ハイパーパrameter選択に対して頑健である。

ABSTRACT

Learning domain-invariant representation is a dominant approach for domain generalization (DG), where we need to build a classifier that is robust toward domain shifts. However, previous domain-invariance-based methods overlooked the underlying dependency of classes on domains, which is responsible for the trade-off between classification accuracy and domain invariance. Because the primary purpose of DG is to classify unseen domains rather than the invariance itself, the improvement of the invariance can negatively affect DG performance under this trade-off. To overcome the problem, this study first expands the analysis of the trade-off by Xie et. al., and provides the notion of accuracy-constrained domain invariance, which means the maximum domain invariance within a range that does not interfere with accuracy. We then propose a novel method adversarial feature learning with accuracy constraint (AFLAC), which explicitly leads to that invariance on adversarial training. Empirical validations show that the performance of AFLAC is superior to that of domain-invariance-based methods on both synthetic and three real-world datasets, supporting the importance of considering the dependency and the efficacy of the proposed method.

研究の動機と目的

• ドメイン-クラス依存性下でのドメイン一般化（DG）において、無視されがちな不変性と分類精度のトレードオフを解消すること。
• 分類性能を低下させない範囲で達成可能な最大の不変性として定式化された、精度制約付きドメイン不変性の概念を形式化すること。
• 敵対的訓練中にこの制約付き不変性を明示的に最適化する手法を開発すること。
• ドメイン-クラス依存性を考慮することで、実世界および合成データセットにおけるDG性能が向上することを実証的に検証すること。
• ターゲットドメインのデータが利用できないDGの文脈で、ハイパーパrameter選択に対する本手法の頑健性を示すこと。

提案手法

• 理論的分析に基づき、エントロピー関係 H(d|h) = H(d|y) から導出された、クラスラベルに依存するドメイン情報の範囲内でドメイン不変性を強制する新しい損失関数を導入する。
• AFLACはドメイン識別器を用いた敵対的訓練を用い、潜在表現におけるドメイン固有特徴を最小化するが、精度制約範囲内に限る。
• コアな革新は、条件付きエントロピー H(d|y) を介してドメイン不変性を制約することにより、分類精度を維持するために必要なだけのドメイン情報を保持するように表現を制御することにある。
• クロスエントロピー分類損失と勾配反転層を用いた敵対的ドメイン混同損失の組み合わせにより、エンドツーエンドでモデルを訓練し、勾配反転強度を精度制約を満たすようにキャリブレーションする。
• 本手法は、BMNISTR（合成）、PACS、WISDM、IEMOCAPのデータセットで評価され、精度制約の影響を分離するためのアブレーションスタディが実施される。
• 複数の γ 値におけるハイパーパrameter感度を評価し、特に強い正則化下でも頑健であることを示す。

実験結果

リサーチクエスチョン

• RQ1 ドメイン-クラス依存性は、ドメイン一般化における不変特徴学習手法の性能にどのように影響するか？
• RQ2 ドメイン-クラス依存性下で、ドメイン不変性と分類精度の理論的関係は何か？
• RQ3 分類精度を損なわない最大のドメイン不変性レベルを定義できるか？
• RQ4 この精度制約付き不変性を強制することで、未知ドメインにおける一般化性能が向上するか？
• RQ5 ターゲットドメインの検証データが利用できない状況下で、本手法のハイパーパrameter選択に対する頑健性はいかがなものか？

主な発見

• AFLACは、PACS（64.0%の精度）、WISDM（64.0%の精度）、IEMOCAP（64.0%の精度）を含むすべてのデータセットで平均性能においてベースライン手法を上回ったが、WISDMにおけるCIDDGを除いては同様であった。
• PACSおよびWISDMでは、ヴァニラCNNが標準的なIFL手法（DANおよびAFLAC-Abl）を上回った。これは、ドメイン-クラス依存性が存在する状況では、単なるドメイン不変性が性能を損なう可能性があることを示している。
• IEMOCAPでは、ドメイン-クラス依存性の強度 I(d;y) が高かった（例：Ses04およびSes05）場合に、AFLACがAFLAC-Ablを上回った。これは理論的分析を裏付けるものであった。
• AFLACはハイパーパrameter選択に対して優れた頑健性を示した。DANおよびAFLAC-Ablとは異なり、γ値が最適でない場合に急激な性能低下を示さなかった。
• 強い正則化（γ = 10または100）下でも、AFLACとAFLAC-Ablの性能差が拡大した。これは、AFLACが攻撃的な不変性強制下でも精度の低下を効果的に回避できることを確認した。
• 実験結果により、理論的境界 H(d|h) = H(d|y) が、精度を損なわずに不変性を最大化する最適なトレードオフ点に対応することが確認された。