[論文レビュー] Invariant Models for Causal Transfer Learning

Mateo Rojas-Carulla, Bernhard Schölkopf+2 more|arXiv (Cornell University)|Jul 19, 2015

Domain Adaptation and Few-Shot Learning参考文献 36被引用数 163

ひとこと要約

本稿では、ターゲットの条件付き分布がドメイン間で不変である予測子変数の部分集合を同定することで、転移学習のための不変因果モデルを提案する。この不変性を活用することで、敵対的条件下におけるドメイン一般化で最適なパフォーマンスを達成し、タスクが多様な場合にはデータプールより優れる。実用的なアルゴリズムを用いて部分集合の自動同定が可能であり、合成データおよび遺伝子欠失データを用いた実証的検証が行われた。

ABSTRACT

Methods of transfer learning try to combine knowledge from several related tasks (or domains) to improve performance on a test task. Inspired by causal methodology, we relax the usual covariate shift assumption and assume that it holds true for a subset of predictor variables: the conditional distribution of the target variable given this subset of predictors is invariant over all tasks. We show how this assumption can be motivated from ideas in the field of causality. We focus on the problem of Domain Generalization, in which no examples from the test task are observed. We prove that in an adversarial setting using this subset for prediction is optimal in Domain Generalization; we further provide examples, in which the tasks are sufficiently diverse and the estimator therefore outperforms pooling the data, even on average. If examples from the test task are available, we also provide a method to transfer knowledge from the training tasks and exploit all available features for prediction. However, we provide no guarantees for this method. We introduce a practical method which allows for automatic inference of the above subset and provide corresponding code. We present results on synthetic data sets and a gene deletion data set.

研究の動機と目的

• トレーニング中にテストデータが入手できない転移学習におけるドメイン一般化を解決すること。
• 標準的な共変量シフト仮定を緩和し、予測子の部分集合でのみ不変性を仮定すること。
• 不変予測子部分集合を自動で同定し、一般化性能を向上させる手法を開発すること。
• 敵対的ドメイン一般化設定において、不変予測子を用いた最適な予測の理論的保証を提供すること。

提案手法

• 本手法は、因果的構造方程式に裏付けられ、ターゲットの条件付き分布がすべてのドメインにおいて予測子の部分集合に関して不変であると仮定する。
• 敵対的条件下でのドメイン一般化において、不変予測子のみを用いることで最適な予測が達成されることを証明する。
• 回帰と不変性検定の組み合わせを用いて、不変予測子部分集合を推定する実用的アルゴリズムを導入する。
• 2段階アプローチを採用する：まず不変集合を同定し、その後その特徴量でモデルを学習して予測を行う。
• テストデータが利用可能な場合、すべての特徴量を組み合わせる転送手法を提案するが、理論的保証は提供しない。
• 合成データおよび遺伝子欠失データセットを用いた実験により、手法の有効性を検証した。コードは公開されている。

実験結果

リサーチクエスチョン

• RQ1 ターゲットの条件付き分布が異なるドメイン間で一定である予測子の部分集合を同定できるか？
• RQ2 敵対的分布シフト下のドメイン一般化において、不変予測子のみを用いることで最適なパフォーマンスが達成されるか？
• RQ3 事前の知識なしに不変予測子部分集合を自動で同定できるか？
• RQ4 一般化性能の観点から、提案手法は単純なデータプール法と比べてどのように異なるか？
• RQ5 タスクの多様性が、標準的転移学習手法と比較して不変モデルのパフォーマンスに与える影響は何か？

主な発見

• 敵対的分布シフト下のドメイン一般化において、不変予測子部分集合が最適な予測パフォーマンスを達成する。
• タスクが十分に多様な場合には、プール手法に理論的保証がないにもかかわらず、平均的にプール手法を上回る性能を発揮する。
• 理論的分析により、不変予測子の条件付き分布がすべてのドメインで同一であることが示された。
• 合成データにおける実証的結果から、さまざまな設定下で本手法が不変集合を正しく同定していることが確認された。
• 遺伝子欠失データセットにおいて、本手法は標準的転移学習ベースラインと比較して、一般化性能が向上している。
• 合成実験において、不変集合の自動推定アルゴリズムが真の部分集合を効果的に回復した。