[論文レビュー] Generalizing to unseen domains via distribution matching

Isabela Albuquerque, João Monteiro+3 more|arXiv (Cornell University)|Nov 3, 2019

Domain Adaptation and Few-Shot Learning参考文献 56被引用数 89

ひとこと要約

G2DMは、ターゲットデータにアクセスせずに未見のドメインへ一般化するため、ソースドメイン間で分布マッチングを導入し、対となるH-ダイバージェンスの敵対的最小化を通じて実現する。

ABSTRACT

Supervised learning results typically rely on assumptions of i.i.d. data. Unfortunately, those assumptions are commonly violated in practice. In this work, we tackle such problem by focusing on domain generalization: a formalization where the data generating process at test time may yield samples from never-before-seen domains (distributions). Our work relies on the following lemma: by minimizing a notion of discrepancy between all pairs from a set of given domains, we also minimize the discrepancy between any pairs of mixtures of domains. Using this result, we derive a generalization bound for our setting. We then show that low risk over unseen domains can be achieved by representing the data in a space where (i) the training distributions are indistinguishable, and (ii) relevant information for the task at hand is preserved. Minimizing the terms in our bound yields an adversarial formulation which estimates and minimizes pairwise discrepancies. We validate our proposed strategy on standard domain generalization benchmarks, outperforming a number of recently introduced methods. Notably, we tackle a real-world application where the underlying data corresponds to multi-channel electroencephalography time series from different subjects, each considered as a distinct domain.

研究の動機と目的

• ドメイン全体のメタ分布を用いて、ドメイン一般化を形式化する。
• 小さなペアワイズドメインダイバージェンスは、ドメインの混合間のダイバージェンスも小さくなることを示す。
• 凸包混合に基づく、未知のドメインに対する一般化境界を導出する。
• ソースデータのみを用いてドメイン差異を最小化する、敵対的で扱いやすいアルゴリズムを提案する。
• 標準ベンチマークと実世界の EEG アプリケーションで、未知ドメインに対する性能の改善を実証する。

提案手法

• ドメインのメタ分布とソースドメインの凸包を混合として定義する。
• ペアワイズソースダイバージェンスが小さいとき、混合間のH-ダイバージェンスが小さくなることを示す境界を証明する。
• 3成分ネットワーク（エンコーダ、分類器、ドメイン識別器）を用いて、分類器損失を最小化しつつドメイン識別損失を最大化する敵対的な訓練目的を定式化する。
• 訓練を安定化させるため、ワン・対・全のドメイン識別器とランダム射影層を用いて、ペアワイズHダイバージェンスを効率的に推定する。
• テストデータにアクセスせず、タスク精度と分布マッチングのバランスを取るミニマックス目的で訓練する。

実験結果

リサーチクエスチョン

• RQ1 G2DMは、i.i.d.仮定の下でソースドメイン情報のみを使用してERMを上回ることができるか。
• RQ2 VLCSやPACSなどのベンチマークで、G2DMは既存のドメイン一般化手法とどう比較されるか。
• RQ3 G2DMは実際にソースドメイン間および未知のドメイン間で分布マッチングを強制しているか。
• RQ4 訓練中のテストデータアクセス方法が性能と安定性に与える影響は何か。
• RQ5 EEGベースのタスクのように、ドメイン間でラベリング関数がシフトする場合でもG2DMは有効か。

主な発見

• G2DMはVLCSおよびPACSベンチマークでERMおよびいくつかのドメイン一般化のベースラインを上回る。
• G2DMはソースドメイン間の推定Hダイバージェンスを低減し、評価ケースの大半で未知ドメインへの発散も低減する。
• ソースデータに基づく停止基準を用いて、G2DMはテストデータへのアクセス戦略を複数適用しても、CIDDGと同等または優れる未知ドメイン精度を維持する。
• PACS 実験で、AlexNetをResNet-18に置換すると安定性と平均性能が向上する。
• EEGの情動状態分類では、ラベリング関数が被験者間で異なる場合でもERMよりG2DMの精度が向上する。
• この手法は、ソース間の対となるドメイン差異を減らすことで、ターゲットドメインデータなしに未知の分布へ一般化できることを示している。