[論文レビュー] Representation via Representations: Domain Generalization via Adversarially Learned Invariant Representations

Zhun Deng, Frances Ding+5 more|arXiv (Cornell University)|Jun 20, 2020

Domain Adaptation and Few-Shot Learning参考文献 30被引用数 11

ひとこと要約

本稿では、ドメインを感受性属性として扱い、多様な集団全体にわたる不変性を強制することで、敵対的に学習された不変表現を用いたドメイン一般化手法を提案する。ドメイン数が増加する際の敵対的損失の極限的挙動を形式化し、ドメイン数を増やすことで一般化性能が向上することを証明し、非漸近的境界と最悪ケース性能の十分条件を用いた、敵対的不変ドメイン一般化に対する理論的保証を初めて提供する。

ABSTRACT

We investigate the power of censoring techniques, first developed for learning {\em fair representations}, to address domain generalization. We examine {\em adversarial} censoring techniques for learning invariant representations from multiple "studies" (or domains), where each study is drawn according to a distribution on domains. The mapping is used at test time to classify instances from a new domain. In many contexts, such as medical forecasting, domain generalization from studies in populous areas (where data are plentiful), to geographically remote populations (for which no training data exist) provides fairness of a different flavor, not anticipated in previous work on algorithmic fairness. We study an adversarial loss function for $k$ domains and precisely characterize its limiting behavior as $k$ grows, formalizing and proving the intuition, backed by experiments, that observing data from a larger number of domains helps. The limiting results are accompanied by non-asymptotic learning-theoretic bounds. Furthermore, we obtain sufficient conditions for good worst-case prediction performance of our algorithm on previously unseen domains. Finally, we decompose our mappings into two components and provide a complete characterization of invariance in terms of this decomposition. To our knowledge, our results provide the first formal guarantees of these kinds for adversarial invariant domain generalization.

研究の動機と目的

• 訓練データが多数の多様な集団から得られるが、テストデータが未観測の地理的に遠隔または協力しない機関から得られる高次元バイオメディカルデータにおけるドメイン一般化を解決すること。
• ドメイン数 k が増加する際の敵対的不変表現学習の理論的挙動を形式化すること、特に k → ∞ の極限において。
• 未観測ドメインにおけるロバストな性能を保証するための非漸近的学習理論的境界と十分条件を提供すること。
• 表現マッピングを分解し、この分解を通じて不変性を完全に特徴付け、学習された表現の理解を深めること。
• 人種的バイアスにとどまらず、医療AIにおける地理的および機関的公平性を含めた公平性の概念を拡張し、多様な集団全体にわたる同等のモデル性能を確保すること。

提案手法

• ドメインがデータ分布の分布からi.i.d.に抽出され、各ドメインから訓練データがサンプリングされる階層ベイジアンモデルを用いる。
• 敵対的遮断学習フレームワークを採用：表現エンコーダ φ が入力を潜在空間 Z にマップし、ディスクラミネータ ψk が符号化表現の元ドメインを予測しようとし、分類器 f が結果を予測する。
• 実証的敵対的損失関数を最小化する。この損失は、f による誤分類と ψk による正しくドメインの予測をペナルティ化し、表現 φ がドメイン固有の特徴に依存しないように促進する。
• ドメインを感受性属性として扱い、誤った相関関係を抑圧する公平な表現学習からアプローチを拡張する。
• 理論的分析により、k → ∞ の際の敵対的損失の極限的挙動を特徴付け、一般化誤差に対する非漸近的境界を導出する。
• 表現マッピングを2つの成分に分解し、この分解に基づいて不変性を完全に特徴付け、学習された不変性の正確な分析を可能にする。

実験結果

リサーチクエスチョン

• RQ1 敵対的不変表現学習によるドメイン一般化の性能は、訓練ドメイン数 k が増加するにつれてどのように向上するか？
• RQ2 k が大きくなるに従って敵対的損失関数の極限的挙動はどのようなものか？また、意味のある値に収束するか？
• RQ3 提案手法の一般化誤差に対して、非漸近的学習理論的境界をどのように確立できるか？
• RQ4 未観測ドメインにおける最悪ケースの予測性能が保証される条件は何か？
• RQ5 表現マッピングの分解を通じて、学習された表現における不変性をどのように完全に特徴付けられるか？

主な発見

• 4ドメインの合成データでは、RVR（提案手法）は90.6％のテスト精度を達成し、10ドメインに増加すると95.6％に向上し、ロジスティック回帰やランダムフォレストを上回る。
• 6ドメインのカラーモノイドMNISTでは、RVRは97.7％のテスト精度を達成し、色とラベルの相関が不均一な設定において、IRM（94.7％）とCIDDG（96.9％）を顕著に上回る。
• カラーモノイドMNISTで6ドメインのうち3ドメインのみを訓練に使用した場合でも、RVRは86.1％の精度を達成し、全6ドメインを使用すると97.7％に向上する。これは、優れたデータ効率性とスケーラビリティを示している。
• PACSデータセットでは、RVRはスケッチドメインで80.8％の精度を達成し、IRM（75.0％）とCIDDG（73.8％）を上回り、全ドメインで強固な性能を維持する。
• 見られるドメイン数が増加するにつれてテスト精度が一貫して向上する。これは、より多様なドメインがより良い不変表現をもたらすという直感を裏付ける。
• 理論的分析により、敵対的不変ドメイン一般化に対する初めての形式的保証が得られ、損失関数の極限的挙動と最悪ケース性能の十分条件が明らかになった。