[論文レビュー] An Analysis of the Adaptation Speed of Causal Models

Rémi Le Priol, Reza Babanezhad Harikandeh+2 more|arXiv (Cornell University)|May 18, 2020

Bayesian Modeling and Causal Inference参考文献 39被引用数 5

ひとこと要約

本稿は、介入下における構造的因果モデル（SCM）の適応速度を、パラメータ空間の距離を適応効率の代理指標として用いて分析する。真の因果モデルは原因変数に介入された場合に速やかに適応するが、結果変数に介入された場合には反因果モデルが優れることがあることが示され、真の因果モデルが常に最も速やかに適応するという仮説に疑問を呈する。

ABSTRACT

Consider a collection of datasets generated by unknown interventions on an unknown structural causal model $G$. Recently, Bengio et al. (2020) conjectured that among all candidate models, $G$ is the fastest to adapt from one dataset to another, along with promising experiments. Indeed, intuitively $G$ has less mechanisms to adapt, but this justification is incomplete. Our contribution is a more thorough analysis of this hypothesis. We investigate the adaptation speed of cause-effect SCMs. Using convergence rates from stochastic optimization, we justify that a relevant proxy for adaptation speed is distance in parameter space after intervention. Applying this proxy to categorical and normal cause-effect models, we show two results. When the intervention is on the cause variable, the SCM with the correct causal direction is advantaged by a large factor. When the intervention is on the effect variable, we characterize the relative adaptation speed. Surprisingly, we find situations where the anticausal model is advantaged, falsifying the initial hypothesis. Code to reproduce experiments is available at this https URL

研究の動機と目的

• 真の構造的因果モデル（SCM）が他の代替モデルと比較して介入に対して最も速やかに適応するかどうかを厳密に分析すること。
• 介入後に因果モデルと反因果モデルがそれぞれどれだけ速く適応するかの条件を調査すること。
• Bengioら（2020）が提起した仮説、すなわち真のSCMは普遍的に最も速やかに適応するという仮説に反論すること。
• 確率的最適化からの収束速度を用いて、形式的根拠を提示すること。

提案手法

• 確率的最適化からの収束速度を用い、介入後のパラメータ空間における距離を適応速度の代理指標として定義する。
• この代理指標を、分類的および正規分布を仮定する原因・結果のSCMに対して、制御された介入条件下で適用する。
• 原因変数および結果変数への介入下で、真の因果モデルとその反因果対応モデルの間での適応速度を比較する。
• 数学的分析を用いて、異なる介入状況下における相対的適応性能を特徴付ける。
• 反因果モデルが因果モデルを上回る適応速度を示す条件を導出する。

実験結果

リサーチクエスチョン

• RQ1 Bengioら（2020）が提唱したように、真の因果モデルは介入後、常に最も速やかに適応するのだろうか？
• RQ2 原因変数に介入を加えた場合、因果モデルと反因果モデルの適応速度はどのように比較されるか？
• RQ3 結果変数に介入を加えた場合、適応速度はどのように異なるか？
• RQ4 どのような条件下で反因果モデルが真の因果モデルを上回って速やかに適応するのか？
• RQ5 SCMにおける適応速度の有効な代理指標としてどのような指標が適しているか？

主な発見

• 原因変数に介入が加えられた場合、真の因果モデルは反因果モデルと比べて著しく速やかに適応し、顕著な性能優位性を示す。
• 結果変数に介入が加えられた場合、相対的適応速度はモデルのパラメータに依存し、反因果モデルが有利になる場合がある。
• 反因果モデルが真の因果モデルを上回る適応速度を示す状況が存在し、これは当初の仮説を反証する。
• 介入後のパラメータ空間における距離は、SCMにおける適応速度の有効かつ有用な代理指標である。
• 分析から、因果方向そのものが速やかな適応を保証するわけではないことが明らかになった。介入の対象とモデル構造が、重要な要因である。