[論文レビュー] Information-theoretic inference of common ancestors

Bastian Steudel, Nihat Ay|arXiv (Cornell University)|Oct 27, 2010

Bayesian Modeling and Causal Inference参考文献 14被引用数 9

ひとこと要約

本稿は、観測された変数間の依存関係から、より大きな未観測システムを記述する任意の有向無閉路グラフ（DAG）における共通祖先の存在を示す情報理論的不等式を導入する。これは、2つの変数に適用されるReichenbachの共通原因の原則を複数の変数に拡張したものである。主な結果は、観測された変数の間で高い相互情報量が得られることにより、任意のDAGモデルにおいて共通祖先が存在することを示しており、確率的およびアルゴリズム的情報測度の両方に対して有効である。

ABSTRACT

A directed acyclic graph (DAG) partially represents the conditional independence structure among observations of a system if the local Markov condition holds, that is, if every variable is independent of its non-descendants given its parents. In general, there is a whole class of DAGs that represents a given set of conditional independence relations. We are interested in properties of this class that can be derived from observations of a subsystem only. To this end, we prove an information theoretic inequality that allows for the inference of common ancestors of observed parts in any DAG representing some unknown larger system. More explicitly, we show that a large amount of dependence in terms of mutual information among the observations implies the existence of a common ancestor that distributes this information. Within the causal interpretation of DAGs our result can be seen as a quantitative extension of Reichenbach's Principle of Common Cause to more than two variables. Our conclusions are valid also for non-probabilistic observations such as binary strings, since we state the proof for an axiomatized notion of mutual information that includes the stochastic as well as the algorithmic version.

研究の動機と目的

• 部分観測されたサブシステムからの観測によって、未観測の大きなシステムの構造的性質（特に共通祖先の存在）を同定すること。
• 2つの従属変数に適用されるReichenbachの共通原因の原則を、情報理論的測度を用いて複数の変数に一般化すること。
• 干渉が不可能な状況でも、共通祖先を検出するための定量的基準を確立すること。
• 確率的および非確率的観測（例：バイナリ文字列）の両方に対して成り立つように、公理的相互情報量の概念を用いて、結果の普遍性を保証すること。
• 同一の条件付き独立関係を持つ因果構造を区別できるようにするため、依存の程度を活用して因果構造を区別する手法を提供すること。

提案手法

• 観測された変数間の総相互情報量と、より大きなシステムを記述する任意のDAGにおける共通祖先の存在を結びつける情報理論的不等式を提唱する。
• 確率的およびアルゴリズム的（コルモゴロフ次元に基づく）設定の両方に適用可能な、公理的相互情報量の概念を用いることで、広範な適用可能性を確保する。
• DAGにおける局所的マークフ・条件（各ノードは、親を条件とする非子孫と独立）を用いて因果構造をモデル化する。
• 部分グラフにおける帰納法と条件付き確率の議論を用いて、変数と観測集合の祖先間の相互情報量の上限を導出する。
• 特定のノード（祖先集合）を削除することでDAGを変換し、条件付き相互情報量を分析し、不等式を導出する。
• 相互情報量の連鎖則および条件付き独立の性質を用いて、変数と観測変数の祖先間の相互情報量を上限で評価する。

実験結果

リサーチクエスチョン

• RQ1 因果的DAGにおける複数の変数間の観測された依存関係から、共通祖先の存在をどの条件下で推論できるか。
• RQ2 情報理論的測度を用いて、Reichenbachの共通原因の原則を2つ以上の変数にどのように拡張できるか。
• RQ3 干渉が不可能な状況でも、観測データのみから未観測の交絡要因に関する構造的結論を導けるか。
• RQ4 観測変数間の相互情報量の水準と、任意の有効なDAGモデルにおける共通祖先の存在との間の定量的関係は何か。
• RQ5 結果が確率的モデルを越えて、バイナリ文字列のようなアルゴリズム的情報に対してもどの程度有効に適用できるか。

主な発見

• $ n $ 個の観測変数間で高い相互情報量が得られれば、未観測の全システムを記述する任意のDAGモデルにおいて、共通祖先が存在することが示唆される。
• 本稿は、$ I(Y: \text{an}_G(O_{[n]})) \rangle \text{sum of terms involving } I(Y:O_i) $ を示す不等式を証明しており、これは相互情報量が閾値を超える場合にDAGの構造的制約が生じることを示している。
• 拡張された共通原因の原則が形式的に確立された：$ n $ 個の変数間の依存関係が $ c $ に依存する閾値を超える場合、任意の有効なDAGにおいて、$ c $ 個の変数が共通祖先を持つ必要がある。
• 結果は、確率的およびアルゴリズム的両方の情報に対して成り立つ。証明は、両者の解釈を含む公理的相互情報量フレームワークに依拠しているためである。
• 因果マーカフ条件のみでは区別できない因果モデル（同じ条件付き独立関係を持つ異なるDAG）を、依存の程度を用いて区別できる。
• 証明技法は、部分グラフにおける帰納法と祖先集合における条件付き確率の利用に基づき、連鎖則および条件付き相互情報量の性質から導かれる主要な不等式を用いている。