[論文レビュー] Domain Generalization via Conditional Invariant Representation

Ya Li, Mingming Gong+3 more|arXiv (Cornell University)|Jul 23, 2018

Domain Adaptation and Few-Shot Learning被引用数 29

ひとこと要約

本稿では、入力分布 𝕡(X) と条件付きラベル分布 𝕡(Y|X) の両方がドメイン間で変化する状況においても、クラス条件付き分布 𝕡(h(X)|Y) の不変性を学習する条件付き不変ドメイン一般化（CIDG）を提案する。この手法により、ラベル分布の安定性を仮定できない現実の因果構造（例：Y→X）においても、頑健な一般化が可能になる。実験では、合成データおよび実世界のデータセットにおいて、従来手法を上回る性能を示し、特に i.i.d. でないデータシフトが生じる状況で顕著な優位性を示す。

ABSTRACT

Domain generalization aims to apply knowledge gained from multiple labeled source domains to unseen target domains. The main difficulty comes from the dataset bias: training data and test data have different distributions, and the training set contains heterogeneous samples from different distributions. Let $X$ denote the features, and $Y$ be the class labels. Existing domain generalization methods address the dataset bias problem by learning a domain-invariant representation $h(X)$ that has the same marginal distribution $\mathbb{P}(h(X))$ across multiple source domains. The functional relationship encoded in $\mathbb{P}(Y|X)$ is usually assumed to be stable across domains such that $\mathbb{P}(Y|h(X))$ is also invariant. However, it is unclear whether this assumption holds in practical problems. In this paper, we consider the general situation where both $\mathbb{P}(X)$ and $\mathbb{P}(Y|X)$ can change across all domains. We propose to learn a feature representation which has domain-invariant class conditional distributions $\mathbb{P}(h(X)|Y)$. With the conditional invariant representation, the invariance of the joint distribution $\mathbb{P}(h(X),Y)$ can be guaranteed if the class prior $\mathbb{P}(Y)$ does not change across training and test domains. Extensive experiments on both synthetic and real data demonstrate the effectiveness of the proposed method.

研究の動機と目的

• 入力分布 𝕡(X) と条件付きラベル分布 𝕡(Y|X) がドメイン間で変化する状況におけるドメイン一般化を解決すること。これは、一般的な仮定である 𝕡(Y|X) の安定性が成り立たない状況を想定している。
• 表現 h(X) の条件付き分布 𝕡(h(X)|Y) の不変性を保証することで、結合分布 𝕡(h(X),Y) の不変性を達成する手法の開発。
• ラベル条件付き分布 𝕡(Y|X) がドメイン間で安定であるという仮定に依存しないようにすること。これは、現実の因果構造（例：Y→X）ではしばしば成り立たない。
• クラス条件付き分布の不変性を明示的に正則化することで、未観測のターゲットドメインにおける一般化性能を向上させること。

提案手法

• 複数のソースドメインにわたるクラス条件付き分布 𝕡(h(X)|Y) の分散を最小化する表現学習フレームワークを提案する。
• クラス事前分布を正規化した周辺分布 𝕡_N(h(X)) の分散に基づく正則化項を導入し、グローバルな分布差を低減する。
• クラス事前分布の正規化を用いることで、ドメイン間での 𝕡(Y) の変化がもたらす影響を軽減する。
• カーネルフィッシャー判別分析にインspiredされたクラス内およびクラス間距離制約を組み込み、識別性能を維持する。
• すべての実験でRBFカーネルを用いてカーネル行列を計算し、分類の最終段階にはKNNを用いる。
• 分布不変性と識別学習の両方を最適化することで、頑健性と精度のバランスを図る目的関数を最適化する。

実験結果

リサーチクエスチョン

• RQ1 入力分布 𝕡(X) と条件付きラベル分布 𝕡(Y|X) がドメイン間で変化する状況において、ドメイン一般化の性能を向上させることは可能か？
• RQ2 クラス条件付き分布 𝕡(h(X)|Y) の不変性を強制することで、単に周辺分布 𝕡(h(X)) の不変性を強制するのと比較して、より良い一般化が達成できるか？
• RQ3 ラベル条件付き分布 𝕡(Y|X) が安定でない現実的な分布シフトの下で、本手法は従来のドメイン一般化手法を上回る性能を示すか？
• RQ4 クラス事前分布のシフトがドメイン一般化モデルの性能に与える影響は何か？また、その影響をどのように軽減できるか？

主な発見

• 合成データでは、CIDGは86.67%の精度を達成し、KPCA、DICA、SCA より顕著に優れた性能を示した。これらはクラスタリングが不十分またはクラスの混合が顕著に見られた。
• VLCSデータセットでは、10のドメイン一般化タスクのうち9つでCIDGが最良の性能を示し、多様な画像ドメインにわたる頑健性を示した。
• Office+Caltechデータセットでも、10のタスクのうち9つでCIDGが最良の結果を達成し、複雑な現実世界の分布シフト下でも優位性を示した。
• KPCA や DICA のような手法は、クラス条件付き分布がシフトする状況では一般化性能が著しく低下し、周辺分布の不変性に依存する手法の限界を示している。
• 理論的枠組みで想定されているように、ソースドメインとターゲットドメインでクラス事前分布 𝕡(Y) が同一であっても、本手法は強固な性能を維持した。
• 正則化項におけるクラス事前分布の正規化を用いることで、クラス事前分布のドメインシフトの影響が効果的に低減され、一般化の安定性が向上した。