[論文レビュー] Respecting Domain Relations: Hypothesis Invariance for Domain Generalization

Ziqi Wang, Marco Loog+1 more|arXiv (Cornell University)|Oct 15, 2020

Domain Adaptation and Few-Shot Learning参考文献 47被引用数 8

ひとこと要約

本稿は、ドメイン一般化のための仮説不変表現（HIRs）を提案する。HIRsは、ドメイン不変表現（DIRs）の厳密な不変性を緩和し、入力表現の一致ではなく分類器の予測の一致を目的とする。実験の結果、HIRsはDIRsを上回り、特に重度のデータ破損下でも、事前ドメイン知識を用いる手法と同等の性能を示す。

ABSTRACT

In domain generalization, multiple labeled non-independent and non-identically distributed source domains are available during training while neither the data nor the labels of target domains are. Currently, learning so-called domain invariant representations (DIRs) is the prevalent approach to domain generalization. In this work, we define DIRs employed by existing works in probabilistic terms and show that by learning DIRs, overly strict requirements are imposed concerning the invariance. Particularly, DIRs aim to perfectly align representations of different domains, i.e. their input distributions. This is, however, not necessary for good generalization to a target domain and may even dispose of valuable classification information. We propose to learn so-called hypothesis invariant representations (HIRs), which relax the invariance assumptions by merely aligning posteriors, instead of aligning representations. We report experimental results on public domain generalization datasets to show that learning HIRs is more effective than learning DIRs. In fact, our approach can even compete with approaches using prior knowledge about domains.

研究の動機と目的

• ドメイン不変表現（DIRs）が強制する入力ドメイン表現の完全一致が、有用な分類情報の損失を招く可能性があるという過剰制約の問題に対処する。
• 分類器の予測（後方確率）の一致に焦点を当てることで、ドメイン一般化における不変性要件を緩和する。
• ドメイン間の構造的関係（例：回転や破損パターン）を、ドメイン関係に関する事前知識に依存せずに保持する。
• 予測に基づく不変性を学習することで、未知のターゲットドメインに効果的に一般化できることを示す。
• HIRsが標準的なDIRsを上回り、回転MNISTなど強力な事前知識を用いる手法と同等の性能を達成できることを示す。

提案手法

• 情報理論の概念を拡張し、確率的フレームワークを用いてドメイン一般化における表現の十分性と不変性を定式化する。
• 入力表現の一致ではなく、異なるソースドメイン間の予測（後方確率）の一致を目的とする仮説不変表現（HIRs）を提案する。
• 異なるドメインからの予測クラス分布の乖離を最小化する損失関数を用い、明示的な密度推定を伴わずに後方確率の一致を近似する。
• HIR損失と標準的な交差エントロピー分類損失のバランスを取るためのハイパーパrameter α を導入し、後方確率一致を制御可能にする。
• ペアドとペアドでないデータの両方でHIR損失を適用し、ドメイン関係がより複雑な非ペアド設定でも性能向上を示す。
• 多様なベンチマークで評価：回転MNIST（ペアド／非ペアド設定）、VLCS（4つの独立ドメイン）、Tiny ImageNet-C（7種類の重度の破損）、ResNet50およびCCSAアーキテクチャを用いる。

Figure 1: The graphical model shows the relationship from domain $D$ , class $Y$ to the input data $X$ . A latent representation $Z$ is learned to predict $\hat{Y}$ . If $Y$ is independent of $D$ , $P_{Y|D}=P_{Y}$ . Else if $Y$ is dependent on $D$ , $P_{Y|D}\neq P_{Y}$ , which is denoted as an arrow

実験結果

リサーチクエスチョン

• RQ1 ドメイン不変表現（DIRs）が強制する厳密な表現一致は、効果的なドメイン一般化に必要なのか？
• RQ2 異なるドメイン間で分類器の予測（後方確率）を一致させることで、入力表現の一致よりも優れた一般化が達成できるか？
• RQ3 事前知識がなくとも、表現空間におけるドメインの相対的空間的構造を保持することは、一般化を向上させるか？
• RQ4 ガウスノイズやぼかしなどの重度で多様なデータ破損下で、HIR損失はどのように機能するか？
• RQ5 HIRsは、ドメインシフトに関する強い事前知識を用いる手法と同等の性能を達成できるか？

主な発見

• HIRsは、回転MNIST、VLCS、Tiny ImageNet-Cを含む全評価データセットでDIRsを上回り、優れたドメイン一般化能力を示す。
• Tiny ImageNet-Cでは、綺麗な画像をドメインとして含まない状況でも、7種類の重度の破損タイプ間で発散する後方確率を効果的に一致させ、最先端の性能を達成する。
• 非ペアド学習設定ではHIR損失がより効果的であり、後方確率の乖離が大きい状況で特に有効であることが示され、HIRsは構造的ドメイン差異から利益を受ける。
• ノイズ破損（例：ガウスノイズ、インパルスノイズ）では高いα値が性能向上に寄与するが、ぼかし破損では低いα値がより適していることが示され、破損タイプに応じた感受性が確認された。
• 回転MNISTなどの強力な事前知識を用いる手法と同等またはそれを上回る性能を達成しているが、それらの情報に依存していない。
• 回転MNISTのペアド設定では、後方確率の類似度が高いためHIR損失が過学習を引き起こすが、これはHIRsがドメイン関係が非自明で多様な場合に最も効果的であることを確認する。

Figure 2: Representations of three domains. Colors represent the two classes of the three domains. This shows that learning DIRs is too strict compared to learning HIRs because representations $Z$ of the three domains are hypothesis invariant as in ( 4 ) but not domain invariant as in ( 2 ) and ( 3