[論文レビュー] Adversarial target-invariant representation learning for domain generalization

Isabela Albuquerque, João Monteiro+3 more|arXiv (Cornell University)|Nov 3, 2019

Domain Adaptation and Few-Shot Learning被引用数 23

ひとこと要約

本稿では、ドメイン一般化のための敵対的ターゲット不変表現学習手法を提案する。モデルは共有特徴空間における対比較ドメイン差違を最小化することで、未観測ドメインにも一般化可能であり、タスク関連の情報を保持する。本手法は標準ベンチマークおよび実世界のEEGマルチサブジェクトドメイン一般化タスクにおいて、最先端の性能を達成する。

ABSTRACT

Supervised learning results typically rely on assumptions of i.i.d. data. Unfortunately, those assumptions are commonly violated in practice. In this work, we tackle this problem by focusing on domain generalization: a formalization where the data generating process at test time may yield samples from never-before-seen domains (distributions). Our work relies on a simple lemma: by minimizing a notion of discrepancy between all pairs from a set of given domains, we also minimize the discrepancy between any pairs of mixtures of domains. Using this result, we derive a generalization bound for our setting. We then show that low risk over unseen domains can be achieved by representing the data in a space where (i) the training distributions are indistinguishable, and (ii) relevant information for the task at hand is preserved. Minimizing the terms in our bound yields an adversarial formulation which estimates and minimizes pairwise discrepancies. We validate our proposed strategy on standard domain generalization benchmarks, outperforming a number of recently introduced methods. Notably, we tackle a real-world application where the underlying data corresponds to multi-channel electroencephalography time series from different subjects, each considered as a distinct domain.

研究の動機と目的

• 機械学習におけるドメインシフトの課題に対処すること。テストデータがi.i.d.仮定を満たさない未観測ドメインからのものである場合を想定。
• ドメイン一般化を、モデルがこれまでに経験したことのないデータ分布の間で一般化できる設定として形式化すること。
• ペアワイズドメイン差違および混合ドメイン差違に依存する一般化バウンドを導出すること。
• ドメイン差違を最小化すると同時にタスク関連情報の保持を図る表現学習手法を開発すること。
• 標準ベンチマークおよび実世界のEEG時系列ドメイン一般化タスクにおいて、本手法を検証すること。

提案手法

• 本手法は、すべての訓練ドメイン間でペアワイズ差違を最小化すれば、それらドメインの任意の混合物に対しても差違が最小化されることを示す重要な補題に基づく。
• 任意のドメイン混合物間の最大差違に依存する一般化バウンドを定式化し、敵対的訓練によりこれを最小化する。
• すべての訓練ドメインが同一視不能（ドメイン不変）である共有表現空間を学習する。敵対的ディスクラミネーターを用いて、この不変性を強制する。
• 下流の予測タスクの同時最適化により、タスク関連情報が保持され、表現が情報豊かであることを保証する。
• 最小最大目的関数を用いてペアワイズドメイン差違を推定・最小化し、異なるドメインの特徴分布を効果的に整合化する。
• 本手法は、標準ドメイン一般化ベンチマークおよび実世界のマルチチャネルEEG時系列データセット（各被験者が別個のドメインとして扱われる）に適用される。

実験結果

リサーチクエスチョン

• RQ1 訓練ドメイン間のペアワイズドメイン差違を最小化することで、未観測ドメインへの一般化が向上するか？
• RQ2 ドメイン混合物差違に依存するドメイン一般化のための一般化バウンドを導出可能か？
• RQ3 敵対的訓練を用いて、すべての訓練ドメインが同一視不能である表現空間を学習可能であり、かつタスク関連特徴を保持できるか？
• RQ4 本手法は、標準ドメイン一般化ベンチマークにおいて、最先端の手法と比較してどのように性能を発揮するか？
• RQ5 本手法は、マルチチャネルEEG時系列のように複雑で高次元の構造を持つ実世界データに対しても、効果的に一般化可能か？

主な発見

• 本手法は、標準ベンチマークにおいて、最近提案された複数のドメイン一般化手法を上回り、未観測ドメインへの一般化性能が向上していることが示された。
• 理論的分析により、訓練ドメイン間のペアワイズ差違を最小化すれば、それらドメインの任意の混合物間の差違も制御でき、有効な一般化バウンドが得られることを示した。
• 敵対的訓練戦略により、訓練ドメインが同一視不能であるドメイン不変表現空間が効果的に学習され、高い予測性能を維持した。
• 本手法は、各被験者が固有の生理的パターンを示す独自のドメインとして扱われる実世界のEEGマルチサブジェクトドメイン一般化タスクにおいても、優れた性能を達成した。
• 実験的結果により、本手法が、被験者やドメイン間でデータ分布が著しくシフトする状況においても、未観測ドメインへの一般化が効果的に行えることが確認された。