[論文レビュー] Model-Based Domain Generalization

Alexander Robey, George J. Pappas+1 more|arXiv (Cornell University)|Feb 23, 2021

Domain Adaptation and Few-Shot Learning参考文献 163被引用数 6

ひとこと要約

本稿では、分布外一般化を向上させるために、学習済みのデータ変換に対する不変性を強制する新しいフレームワーク、Model-Based Domain Generalization (MBDG) を提案する。ドメインシフトを生成的変換によってモデル化し、非凸双対性を用いた制約付き統計的学習問題を解くことで、ColoredMNIST や Camelyon17-WILDS、PACS といったベンチマークで、最大30パーセンテージポイントの精度向上を達成し、最先端の性能を実現する。

ABSTRACT

Despite remarkable success in a variety of applications, it is well-known that deep learning can fail catastrophically when presented with out-of-distribution data. Toward addressing this challenge, we consider the domain generalization problem, wherein predictors are trained using data drawn from a family of related training domains and then evaluated on a distinct and unseen test domain. We show that under a natural model of data generation and a concomitant invariance condition, the domain generalization problem is equivalent to an infinite-dimensional constrained statistical learning problem; this problem forms the basis of our approach, which we call Model-Based Domain Generalization. Due to the inherent challenges in solving constrained optimization problems in deep learning, we exploit nonconvex duality theory to develop unconstrained relaxations of this statistical problem with tight bounds on the duality gap. Based on this theoretical motivation, we propose a novel domain generalization algorithm with convergence guarantees. In our experiments, we report improvements of up to 30 percentage points over state-of-the-art domain generalization baselines on several benchmarks including ColoredMNIST, Camelyon17-WILDS, FMoW-WILDS, and PACS.

研究の動機と目的

• 医療画像や自動運転などの安全に重要な応用分野において顕著な分布外（OOD）失敗を解決すること。
• 既存のドメイン一般化手法がしばしば経験的にチューニングされた経験的リスク最小化（ERM）に劣るという限界を克服すること。
• 共変量シフトと変換不変性のモデルに基づき、ドメイン一般化を半無限制約最適化問題として形式化すること。
• 非凸双対性を活用して、最適なドメイン一般化解のタイトな近似を得られる理論的裏付けが明確で収束性を保証するアルゴリズムを開発すること。
• 無教師で学習された生成的ドメイン変換に対する不変性を強制することで、標準ベンチマーク上で顕著な性能向上が得られることを経験的に検証すること。

提案手法

• 本手法は、色、明るさ、回転などのドメイン固有要因を表す $ e $ を用いて、生成的変換 $ G(x,e) $ を用いてドメイン間の変動をモデル化する。
• ドメイン一般化を、変換モデルを通じてすべてのドメインで予測子の不変性を強制する半無限制約最適化問題として定式化する。
• 非凸双対性理論を適用し、双対ギャップにデータ依存の明示的で証明可能な上限が得られる、制約なし双対問題を導出する。
• 教師あり分類器と生成モデル（MUNITアーキテクチャを用いて）を同時に学習するプリマルドゥアル型のアルゴリズムを提案し、ドメイン間でのデータマッピングと不変性の両方を強制する。
• 生成モデルは、訓練ドメインのラベルなしデータを用いて学習し、真のドメインラベルが不要な状態で、分離可能でマルチモーダルな変換を学習する。
• 制約付き問題の近似として、経験的パrameterized双対を用い、収束保証付きのエンドツーエンド学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 学習済みのデータ駆動型ドメイン変換に対する不変性を強制することは、ディープラーニングにおける分布外一般化を向上させ得るか？
• RQ2 共変量シフトと変換不変性のモデルに基づく制約付き統計的学習問題として、ドメイン一般化問題は同等であるか？
• RQ3 非凸双対性を活用することで、ドメイン一般化における双対ギャップにタイトでデータ依存の境界を導出可能か？
• RQ4 経験的双対に基づくプリマルドゥアルアルゴリズムは、標準ベンチマークで既存の最先端手法を上回る性能を示すか？
• RQ5 真の変換モデルにアクセスできない状況でも、訓練ドメインのラベルなしデータから学習された生成モデルは、ドメイン間の変動をどの程度正確に捉えることができるか？

主な発見

• 提案された MBDG アルゴリズムは、複数のベンチマークで最先端の性能を達成し、既存のベースライン比で最大30パーセンテージポイントの精度向上を実現する。
• ColoredMNIST では 94.5% の精度を達成し、次に優れた手法の 64.5% より顕著に上回る。
• Camelyon17-WILDS では 76.3% の精度を達成し、前回の最先端手法（46.3%）から 30 ポints の向上を達成する。
• FMoW-WILDS では 68.8% の精度を達成し、前回の最先端手法より 15 ポイントの向上を達成する。
• PACS では 86.7% の精度を達成し、前回の最良手法より 10.5 パーセンテージポイントの向上を達成する。
• 真のドメイン変換モデルが不明な状況でも、MBDG は MUNIT を用いてラベルなし訓練データから有効な変換を学習でき、依然として有効である。