[論文レビュー] Learning Causal Semantic Representation for Out-of-Distribution Prediction

Chang Liu, Xinwei Sun+5 more|arXiv (Cornell University)|Jan 1, 2020

Domain Adaptation and Few-Shot Learning参考文献 126被引用数 48

ひとこと要約

本論文は semant ic factors を variation factors から分離し、因果的不変性を用いた堅牢な OOD 予測とドメイン適応を実現する Causal Semantic Generative model (CSG) を提案する。理論的可 identifiability 保証あり。

ABSTRACT

Conventional supervised learning methods, especially deep ones, are found to be sensitive to out-of-distribution (OOD) examples, largely because the learned representation mixes the semantic factor with the variation factor due to their domain-specific correlation, while only the semantic factor causes the output. To address the problem, we propose a Causal Semantic Generative model (CSG) based on a causal reasoning so that the two factors are modeled separately, and develop methods for OOD prediction from a single training domain, which is common and challenging. The methods are based on the causal invariance principle, with a novel design in variational Bayes for both efficient learning and easy prediction. Theoretically, we prove that under certain conditions, CSG can identify the semantic factor by fitting training data, and this semantic-identification guarantees the boundedness of OOD generalization error and the success of adaptation. Empirical study shows improved OOD performance over prevailing baselines.

研究の動機と目的

• 表現における semantic-variation entanglement に起因する OOD 脆弱性の問題を動機づけ、定義する。
• 堅牢な予測のために semantic factor と variation factor を分離する因果生成フレームワークを提案する。
• 特定の条件下で単一のトレーニングドメインから semantic factor の理論的 identifiability を確立する。
• CSG フレームワーク内で OOD 一般化とドメイン適応のための変分ベイズ法を開発する。
• 実世界の画像分類タスクでベースラインより実証的に改善を示す。

提案手法

• semantic factor と variation latent を分離するために p(s,v), p(x|s,v), p(y|s) を持つ Causal Semantic Generative Model (CSG) を提案する。
• 因果的不変性の原理を採用：p(x|s,v) と p(y|s) はドメインに依存しない一方、先験分布 p(s,v) はドメイン間で変化する。
• auxiliary q(s,v,y|x) に依存する再構成された ELBO 目的を用い、2つの推論モデルなしに予測と学習を実現する。
• テストドメイン予測のための (s,v) の prior を変更する CSG-ind および CSG-DA の派生版を導入し、OOD一般化を改善しドメイン適応を可能にする。
• latent factors に対する do のような介入を通じてトレーニングドメイン学習とテストドメイン予測を調整する学習目的を提供する。

実験結果

リサーチクエスチョン

• RQ1 semantic factor s は v との相関があっても、単一のトレーニングドメインから識別可能か？
• RQ2 semantic 識別は OOD 一般化エラーの境界にどのような影響を与えるか？
• RQ3 因果的不変性を通じて、共変量シフトの下で堅牢な OOD 一般化とドメイン適応をモデルは支援できるか？
• RQ4 CSG-ind/CSG-DA のテストドメイン priors を用いたアプローチは、推論不変性アプローチよりも OOD タスクに対して実用的な利点をもたらすか？
• RQ5 変分ベイズをどのように調整して OOD タスクのために CSG 表現を効率的に学習するか？

主な発見

• CSG は特定の加法ノイズおよび全単射（bijectivity）仮定のもとで semantic factor を識別できる。
• semantic 識別は OOD 一般化エラーを有界化し、正確なドメイン適用予測を可能にする。
• CSG ベースの手法は実世界の画像分類タスクでベースラインよりOOD性能が向上する。
• テストド-domain priors を用いた因果的不変性ベースの学習目的は、ドメインシフト下で信頼性の高い予測を提供する。
• 単一のトレーニングドメインで予測を達成でき、トレーニングデータに複数ドメインや介入を必要としない。