[論文レビュー] Causal Transfer in Machine Learning

Mateo Rojas-Carulla, Bernhard Schölkopf+2 more|arXiv (Cornell University)|Jul 19, 2015

Domain Adaptation and Few-Shot Learning参考文献 41被引用数 16

ひとこと要約

この論文は、分布シフト下での最適な予測を可能にするために、ドメイン間で不変であるとされる予測変数の部分集合を同定する因果的転送手法を提案する。この手法は、テストドメインの例が存在しないゼロショット設定でも一般化性能が向上する、実用的な自動部分集合推定アルゴリズムを導入し、合成データおよび遺伝子ノックアウトデータで検証されている。

ABSTRACT

Methods of domain adaptation try to combine knowledge from several related domains (or tasks) to improve performance on a test domain. Inspired by causal methodology, we assume that the covariate shift assumption holds true for a subset of predictor variables: the conditional of the target variable given this subset of predictors is invariant over all tasks. We prove that in an adversarial setting using this subset for prediction is optimal if no examples from the test task are observed. For a specific scenario, in which tasks are drawn from a meta distribution, further optimality results are available. We introduce a practical method which allows for automatic inference of the above subset and provide corresponding code. We present results on synthetic data sets and a gene deletion data set.

研究の動機と目的

• ドメインシフトを解消するため、ターゲットの条件付き分布がすべてのドメインで不変である予測変数の部分集合を同定すること。
• この不変部分集合が、敵対的およびメタラーニング設定において最適な予測を可能にする条件を形式化すること。
• テストドメインの例が不要な状況でも、不変予測変数部分集合を自動的に検出する実用的手法を開発すること。
• 合成データおよび実世界の生物学的データを用いた検証を通じて、共変量シフト下での一般化性能の向上を示すこと。

提案手法

• この手法は、一部の予測変数が不変仮定を満たすと仮定する。具体的には、これらの予測変数の下でのターゲットの条件付き分布が、すべてのタスクで不変である。
• 因果フレームワークを用いて、この不変部分集合を同定する問題を定式化し、テストデータが存在しない状況では、不変な予測変数のみを予測に使用すべきであるという事実を活用する。
• タスクのメタ分布を用いることで、特定の条件下で不変部分集合の理論的最適性を導出する。
• 不変性の微分可能代理指標を用いた最適化により、不変部分集合を学習する実用的なアルゴリズムを提案する。
• コードとともに実装・公開されており、遺伝子ノックアウト実験などの実世界のデータセットへの応用を可能としている。

実験結果

リサーチクエスチョン

• RQ1 不変予測変数部分集合が、ドメイン適応において最適な予測を達成するための条件は何か？
• RQ2 因果フレームワークを用いて、ドメイン間で不変である最小の予測変数集合を同定できるか？
• RQ3 テストドメインの例が一切存在しないゼロショット設定において、提案手法はどのように性能を発揮するか？
• RQ4 提案手法の実験的性能は、合成データおよび実世界のデータにおいて、ベースラインのドメイン適応手法と比較してどうなるか？

主な発見

• テストドメインの例が存在しない敵対的設定において、不変部分集合の予測変数が最適な予測性能を達成する。
• タスクのメタ分布仮定の下で理論的最適性が確立され、不変部分集合が期待リスクを最小化することが示された。
• 合成データにおいて、提案手法は不変予測変数部分集合を正しく同定し、ゼロショット予測において高い精度を達成した。
• 遺伝子ノックアウトデータセットにおいて、因果的不変性を活用することで、標準的なドメイン適応ベースラインを上回る一般化性能を示した。