[論文レビュー] On causally asymmetric versions of Occam's Razor and their relation to thermodynamics

Dominik Janzing|ArXiv.org|Aug 24, 2007

Bayesian Modeling and Causal Inference参考文献 42被引用数 10

ひとこと要約

本稿は、原因から結果への条件付き確率が結果から原因へのものよりも単純であるという因果推論の非対称性が、熱力学的不可逆性に起因することを提案する。非平衡状態にある物理系を、初期に積の分布をとる状態が相関のある状態へと進化させるモデルで扱うことで、この因果的非対称性が第二法則が典型的な最終状態へ向かう傾向を反映していることを示し、因果探索におけるオッカムの剃刀の熱力学的基盤を提示する。

ABSTRACT

In real-life statistical data, it seems that conditional probabilities for the effect given their causes tend to be less complex and smoother than conditionals for causes, given their effects. We have recently proposed and tested methods for causal inference in machine learning using a formalization of this principle. Here we try to provide some theoretical justification for causal inference methods based upon such a ``causally asymmetric'' interpretation of Occam's Razor. To this end, we discuss toy models of cause-effect relations from classical and quantum physics as well as computer science in the context of various aspects of complexity. We argue that this asymmetry of the statistical dependences between cause and effect has a thermodynamic origin. The essential link is the tendency of the environment to provide independent background noise realized by physical systems that are initially uncorrelated with the system under consideration rather than being finally uncorrelated. This link extends ideas from the literature relating Reichenbach's principle of the common cause to the second law.

研究の動機と目的

• 因果推論における因果的非対称なオッカムの剃刀の理論的裏付けを提供すること。
• 物理系における原因→結果と結果→原因の条件付き確率の間の統計的非対称性の起源を解明すること。
• 非平衡統計力学を通じて、この非対称性を熱力学的不可逆性および第二法則と結びつけること。
• 初期に積の状態であるものが相関のある最終状態へとどのように進化するかを調べ、因果的前向き方向における単純な条件付き確率の優位性を明らかにすること。
• 観察されたP(結果|原因)の単純さが、任意の仮定ではなく物理的ダイナミクスに従う典型的な進化に起因することを確立すること。

提案手法

• 初期に原因と環境の積の分布を仮定し、非平衡統計力学を用いて因果系をモデル化する。
• スピン系や熱浴を含む古典的・量子的物理のトイモデルを用い、P(結果|原因)とP(原因|結果)の条件付き確率を分析する。
• 因果的マークフ・条件と関数的モデルを用いて干渉を形式化し、条件付き独立構造を導出する。
• 詳細つり合いの原理と非平衡ダイナミクスを適用し、P(結果|原因)が一般的にP(原因|結果)よりも滑らかで単純であることを示す。
• スピンが磁場中に置かれた系では、相互作用ハミルトニアンが系サイズnの平方根の逆数に比例するようにスケーリングされることを示し、熱力学的極限でも磁場強度が有限に保たれることを保証する。
• プローブスピンの調整（干渉）により、二峰性分布が崩れ、相互作用の影響が明らかになり、非平衡ダイナミクスが確認されることを示す。

実験結果

リサーチクエスチョン

• RQ1 なぜ現実世界のデータにおいて、P(結果|原因)の条件付き確率は一般的にP(原因|結果)よりも単純で滑らかなのか？
• RQ2 因果推論における観察された非対称性の背後にある物理的メカニズムは何か、特に非平衡系においては？
• RQ3 熱力学第二法則は、原因と結果の間の統計的非対称性とどのように関係するか？
• RQ4 初期に積の状態であるものが相関のある最終状態へと進化する傾向が、単純な前向き条件付き確率の優位性を説明できるか？
• RQ5 非平衡初期状態と不可逆的混合プロセスは、因果的推論における熱力学的時間の矢をどのように生じさせるか？

主な発見

• P(結果|原因)とP(原因|結果)の複雑さにおける非対称性は、初期に相関のない原因と環境の積の状態が物理的ダイナミクスに従って相関のある最終状態へと進化する傾向に起因する。
• 系サイズが大きい極限において、プローブと相互作用するスピン系の磁化モーメントの分布は、二つのガウス分布の混合となるが、干渉によって崩れ、相互作用の影響が明確に現れる。
• P(結果|原因)が単純であるのは、非相関の初期状態が相関のある最終状態へと典型的に進化するためであり、第二法則と整合的である。
• 熱的平衡状態にある系では、前向きと後向きの情報流れが対称的であるため、明確な因果的方向性を保てず、因果的非対称性を実現するには非平衡初期状態が不可欠である。
• 観察された条件付き確率の複雑さの非対称性は任意ではなく、特定の初期状態（例：積の状態）が特定の最終状態よりも起こりやすいという熱力学的時間の矢に根ざしている。
• 本稿は、非平衡系における干渉が原因と結果の間の対称性を破ることを示し、被動的観察からの因果推論が初期状態と不可逆性に関する仮定に依存することを確認している。