[論文レビュー] Robust Learning via Cause-Effect Models

Bernhard Schölkopf, Dominik Janzing+2 more|arXiv (Cornell University)|Dec 12, 2011

Data Stream Mining Techniques参考文献 7被引用数 4

ひとこと要約

本稿では、分布シフト下での機械学習のロバスト性を向上させるために、原因効果モデル—特に加法ノイズモデル（ANM）—を提案する。因果的メカニズム（例：E = φ(C) + N_E における関数φ）の不変性を活用することで、データの変化が原因Cの変化にあるか、ノイズN_Eの変化にあるかを特定し、共変量シフトやコンセプトドリフト下でも条件付き分布の正確な推定が可能になる。

ABSTRACT

We consider the problem of function estimation in the case where the data distribution may shift between training and test time, and additional information about it may be available at test time. This relates to popular scenarios such as covariate shift, concept drift, transfer learning and semi-supervised learning. This working paper discusses how these tasks could be tackled depending on the kind of changes of the distributions. It argues that knowledge of an underlying causal direction can facilitate several of these tasks.

研究の動機と目的

• 訓練データとテストデータの分布が異なる場合に生じる分布シフトの課題に対処すること。
• 特に因果構造—具体的には因果の方向性—が、このようなシフト下でのモデルのロバスト性をどのように向上させられるかを調査すること。
• テスト時の周辺分布P'(E)しか入手できない状況で、原因の分布P(C)のシフトとノイズの分布P(N_E)のシフトを区別する方法を開発すること。
• 因果的メカニズムφの不変性を活用して、分布シフト下でも真の条件付き分布P'(E|C)を推定すること。
• 因果的不変性の原則を応用し、共変量シフト、コンセプトドリフト、トランスファー学習などの状況で、ロバストな予測を可能にするフレームワークを提供すること。

提案手法

• 原因Cと効果Eの因果的関係を加法ノイズモデルE = φ(C) + N_Eでモデル化する。φは未知だが、複数の分布間で共有されていると仮定する。
• deconvolution技術を用いて、訓練データから得られるP(φ(C))が既知であると仮定し、観測されたテスト周辺分布P'(E)からノイズ分布P'(N_E)を推定する。
• 分布シフトがP(C)に起因するか、P(E|C)に起因するかを判別するために、どちらのdeconvolution（P'(E) *^{-1} P(φ(C)) または P'(E) *^{-1} P(N_E)）が有効な確率分布を生成するかを検証する。
• 文献[12]のアルゴリズムを応用し、複数のデータセットにまたがって共通の因果関数φを推定する。条件付きANMフレームワークにおいて、C ⊥⊥ N_E および C' ⊥⊥ N_E' の条件付き独立性を強制する。
• 因果的メカニズムφの不変性を活用して、P(C)やP(N_E)が変化しても、新しいテスト条件下でのP'(E|C)を推定する。
• 非線形ANMの同定可能性を活用し、弱い仮定のもとで、観測された分布シフトの原因としてP(C)またはP(E|C)のどちらか一方しか成立しないことを保証する。

実験結果

リサーチクエスチョン

• RQ1 因果の方向性（C → E）の知識が、機械学習における分布シフトに対するロバスト性を向上させ得るか？
• RQ2 周辺分布P'(E)しか観測できない状況で、P(C)のシフトとP(N_E)のシフトを、どのような条件下で区別できるか？
• RQ3 因果的メカニズムφの不変性を活用して、分布シフト下でも真の条件付き分布P'(E|C)を推定可能か？
• RQ4 分布に課される仮定（例：分解不能性、ガウスノイズ）は、P(C)とP(E|C)のどちらか一方のみがシフトの原因であることを保証するか？
• RQ5 条件付き加法ノイズモデル（ANM）を用いて、異なる分布を持つ複数のデータセット間で共通の因果関数φを学習する方法は何か？

主な発見

• 因果関数φが不変であるという仮定のもと、テスト周辺分布P'(E)へのdeconvolutionを適用することで、P(C)のシフトとP(N_E)のシフトを明確に区別できる。
• P(φ(C))が分解不能で、P(N_E)がゼロ平均のガウス分布である場合、P(E)からP(φ(C))を一意に回復できるため、分布シフトの原因を特定可能となる。
• P(φ(C))によるdeconvolutionが有効な分布を生成するが、P(N_E)によるdeconvolutionが有効でない場合、本手法はP(E|C)の変化（すなわちノイズ分布のシフト）を正しく同定する。
• P(C)とφが変化していないと仮定すれば、P'(N_E)をdeconvolutionにより回復することで、分布シフト下でもP'(E|C)の正確な推定が可能となる。
• 加法ノイズに非線形関数を適用し、ノイズが独立であるという現実的な仮定のもと、本手法はロバストであり、2変数ケースでさえ因果方向を同定可能である。
• 因果的メカニズムφの不変性を活用することで、本フレームワークは共変量シフトやコンセプトドリフトの状況において、トランスファー学習やロバストな予測を可能にする。