[論文レビュー] A Causal Perspective on Domain Adaptation

Mateo Rojas-Carulla, Bernhard Schölkopf+2 more|arXiv (Cornell University)|Jul 19, 2015

Domain Adaptation and Few-Shot Learning被引用数 1

ひとこと要約

本稿では、テストデータが存在しない状況において、ドメイン間で安定した条件付き分布を示す不変予測子の部分集合を特定することで、因果的アプローチを用いたドメイン一般化を提案する。この不変予測子のみを用いることで、敵対的状況下でも最適な一般化が可能であり、ドメインが多様な場合にデータプールより優れる。部分集合の推論のための実用的手法と、オープンソースコードも提供されている。

ABSTRACT

Methods of transfer learning try to combine knowledge from several related tasks (or domains) to improve performance on a test task. Inspired by causal methodology, we relax the usual covariate shift assumption and assume that it holds true for a subset of predictor variables: the conditional distribution of the target variable given this subset of predictors is invariant over all tasks. We show how this assumption can be motivated from ideas in the field of causality. We focus on the problem of Domain Generalization, in which no examples from the test task are observed. We prove that in an adversarial setting using this subset for prediction is optimal in Domain Generalization; we further provide examples, in which the tasks are sufficiently diverse and the estimator therefore outperforms pooling the data, even on average. If examples from the test task are available, we also provide a method to transfer knowledge from the training tasks and exploit all available features for prediction. However, we provide no guarantees for this method. We introduce a practical method which allows for automatic inference of the above subset and provide corresponding code. We present results on synthetic data sets and a gene deletion data set.

研究の動機と目的

• テストデータが存在しない状況において、ドメイン間で不変である予測子の部分集合を特定することでドメイン一般化を解決すること。
• 標準的な共変量シフト仮定を緩和し、予測子の部分集合に対してのみ不変性を仮定すること。
• 因果推論の原則を用いて、この手法の理論的裏付けを提供すること。
• 不変予測子部分集合を自動的に同定する実用的なアルゴリズムを開発すること。
• 合成データおよび実世界の遺伝子欠失データを用いた性能評価を行い、プール戦略よりも優れた一般化性能を示すこと。

提案手法

• 本手法は、因果的構造的仮定に基づいて、目的変数の条件付き分布がすべてのドメインで不変である予測子の部分集合に依存すると仮定する。
• ドメイン一般化を、ドメイン間の最悪のリスクを最小化するように不変予測子部分集合を選択する最適化問題として定式化する。
• 敵対的訓練を用いて不変性を強制し、分布シフトに対して予測子が頑健になるようにする。
• 不変性制約の微分可能近似を用いて、実用的なアルゴリズムを導入し、データから不変部分集合を自動的に推定する。
• テストデータが利用可能な場合、訓練タスクからの知識を転送し、すべての特徴量を予測に使用するが、理論的保証は提供しない。
• 実装はコードとして公開され、再現性および合成および生物学的データセットにおける評価が可能になっている。

実験結果

リサーチクエスチョン

• RQ1 因果的フレームワークを用いることで、ドメイン間で不変である予測子の部分集合を特定することで、ドメイン一般化が向上するか？
• RQ2 敵対的ドメイン一般化設定において、不変予測子部分集合のみを用いることが最適か？
• RQ3 ドメインが十分に多様な場合、提案手法は単純なデータプールを上回るか？
• RQ4 実際のデータから、不変予測子部分集合を自動的に同定する方法は何か？
• RQ5 テストデータが利用可能で、すべての特徴量が予測に使われる場合、この手法の性能向上はどの程度か？

主な発見

• 提案手法は、不変予測子部分集合にのみ依存することで、敵対的ドメイン一般化において最適な性能を達成する。
• ドメインが多様な設定では、プールが通常最適とされるが、平均的に本手法がプールを上回る。
• 自動推定手法は、合成データセットにおいて正しく不変予測子部分集合を同定できた。
• 遺伝子欠失データセットでは、標準的なドメイン一般化ベースラインよりも優れた一般化性能を示した。
• テストデータが利用可能な場合、すべての特徴量を活用することで、強力な性能を達成したが、理論的保証は提供されなかった。
• オープンソース実装により、再現性が確保され、多様なベンチマーク設定への実用的応用が可能になった。