[論文レビュー] Causal Markov condition for submodular information measures

Bastian Steudel, Dominik Janzing+1 more|arXiv (Cornell University)|Feb 22, 2010

Computability, Logic, AI Algorithms参考文献 24被引用数 20

ひとこと要約

この論文は、因果的マルコフ条件（CMC）を任意のサブモジュラー情報測度へ一般化し、シャノンエントロピーにとどまらず、コルモゴロフ複雑度や圧縮に基づく指標へも適用可能にする。因果的メカニズムが親とノイズからの決定的計算によって定義される関数的モデルフレームワークを提示し、サブモジュラー測度下でのCMCの正当化を図り、実際のテキストデータにおける圧縮スキームを用いた実用的因果推論を示している。

ABSTRACT

The causal Markov condition (CMC) is a postulate that links observations to causality. It describes the conditional independences among the observations that are entailed by a causal hypothesis in terms of a directed acyclic graph. In the conventional setting, the observations are random variables and the independence is a statistical one, i.e., the information content of observations is measured in terms of Shannon entropy. We formulate a generalized CMC for any kind of observations on which independence is defined via an arbitrary submodular information measure. Recently, this has been discussed for observations in terms of binary strings where information is understood in the sense of Kolmogorov complexity. Our approach enables us to find computable alternatives to Kolmogorov complexity, e.g., the length of a text after applying existing data compression schemes. We show that our CMC is justified if one restricts the attention to a class of causal mechanisms that is adapted to the respective information measure. Our justification is similar to deriving the statistical CMC from functional models of causality, where every variable is a deterministic function of its observed causes and an unobserved noise term. Our experiments on real data demonstrate the performance of compression based causal inference.

研究の動機と目的

• シャノンエントロピーに基づく統計的独立性から、任意のサブモジュラー情報測度へ因果的マーチン条件（CMC）を拡張すること。
• 各変数が親とノイズ項の決定的関数として定義される因果の関数的モデルを形式化し、選択された情報測度に適応すること。
• 情報測度に適合する因果的メカニズムの構造と関連付けることで、一般化された枠組み下でのCMCを正当化すること。
• コルモゴロフ複雑度のような非計算可能な測度の代替として、計算可能な代替測度（例：データ圧縮長）を用いて実用的因果推論を可能にすること。
• PCなどの因果発見アルゴリズムを用いて、実際のテキストデータにおける圧縮に基づく情報測度を用いたアプローチの実証的検証を行うこと。

提案手法

• 任意のサブモジュラー情報測度を用いた一般化された因果的マーチン条件を提案し、統計的独立性の代わりに測度に基づく依存性を定義する。
• 各ノードが親とノイズ項の決定的関数として計算される因果の関数的モデルを導入し、ノードの情報含量が親とノイズによって完全に説明されることを保証する。
• サブモジュラー測度を用いた条件付き独立性を定義し、得られる独立性関係が半グラフイド公理を満たすようにする。
• 因果的メカニズムが測度の構造と整合する場合にCMCが成立することを、祖先集合に関する帰納法と測度の分解を用いて示す。
• 条件付き確率が依存性を必ず減少させない情報測度を扱う場合に備え、PCアルゴリズムの条件付け手順を変更して因果発見に適応する。
• コルモゴロフ複雑度の計算可能な代理として、Lempel-Zivなどの圧縮スキームを用い、テキストデータにおける現実世界の因果推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 因果的マーチン条件は、シャノンエントロピーを超えて、任意のサブモジュラー情報測度へ一般化可能か？
• RQ2 与えられたサブモジュラー情報測度と整合する因果的メカニズムのクラスは何か？ そして、その整合性をどのように形式化できるか？
• RQ3 関数的因果モデルをサブモジュラー情報測度に適応することで、CMCをどのように正当化できるか？
• RQ4 条件付けによって依存性が厳密に減少しない情報測度を用いる場合、標準的な因果発見アルゴリズムにどのような修正が必要か？
• RQ5 圧縮に基づく情報測度は、自然言語テキストのような現実世界のデータにおいて、因果推論を効果的に支援できるか？

主な発見

• 因果的マーチン条件は任意のサブモジュラー情報測度へ一般化可能であり、因果的メカニズムが測度の構造と整合する場合に成立する。
• 各変数が親とノイズの決定的関数として定義される関数的モデルフレームワークは、サブモジュラー測度下でのCMCを正当化する。これは統計的ケースと類似した構造を持つ。
• 本研究は、因果的メカニズムが選択された測度の情報理論的性質を尊重する場合にCMCが有効であることを示し、因果推論のための原理的事前分布を提供する。
• Lempel-Ziv複雑度を含む圧縮に基づく測度は、コルモゴロフ複雑度の代替として、因果発見タスクにおいて効果的かつ計算可能である。
• 英語テキスト断片を用いた実験により、圧縮に基づく因果推論が標準的なクラスタリング手法を上回り、単なる類似性を超えた因果構造を明らかにしている。