[論文レビュー] Inferring latent structures via information inequalities

Rafael Chaves, Lukas Luft+4 more|arXiv (Cornell University)|Jul 8, 2014

Bayesian Modeling and Causal Inference参考文献 30被引用数 20

ひとこと要約

本稿では、ベイジアンネットワークから導出されたエントロピー不等式を用いて、隠れた因果構造を推定する情報理論的フレームワークを提案する。条件付き独立性および因果的制約を、観測変数のエントロピー上での線形不等式に翻訳することで、線形計画法を用いたアルゴリズム的かつ効率的な因果モデルのテストが可能となり、特に隠れた共通原因や因果の方向性の特定に有効である。これは代数的手法に対するスケーラブルな代替手法を提供する。

ABSTRACT

One of the goals of probabilistic inference is to decide whether an empirically observed distribution is compatible with a candidate Bayesian network. However, Bayesian networks with hidden variables give rise to highly non-trivial constraints on the observed distribution. Here, we propose an information-theoretic approach, based on the insight that conditions on entropies of Bayesian networks take the form of simple linear inequalities. We describe an algorithm for deriving entropic tests for latent structures. The well-known conditional independence tests appear as a special case. While the approach applies for generic Bayesian networks, we presently adopt the causal view, and show the versatility of the framework by treating several relevant problems from that domain: detecting common ancestors, quantifying the strength of causal influence, and inferring the direction of causation from two-variable marginals.

研究の動機と目的

• 潜在変数（隠れ変数）を含むベイジアンネットワークと整合する周辺分布を特徴付ける課題に取り組むこと。このようなモデルは複雑で非自明な制約を課す。
• 観測データと候補となる因果モデルの適合性をテストできる、体系的かつアルゴリズム的なエントロピー制約の導出手法を開発すること。
• 限られた観測データからの共通原因の同定、因果の方向性の推定、因果的影響の定量化といった、本フレームワークの実用的有用性を示すこと。
• エントロピー不等式の線形性を活用することで、代数的手法に対するスケーラブルな代替手法を提供すること。

提案手法

• ベイジアンネットワークにおける条件付き独立性および因果的制約を、観測変数の部分集合のエントロピー上での線形不等式に変換する。
• エントロピーの多面体的公理を用いて数学的整合性を保証し、制約の導出およびテストに線形計画法を適用可能にする。
• エントロピー空間を凸多面体として扱い、計算ツールを用いて自動的にエントロピー不等式を導出可能にする。
• 一般のベイジアンネットワークに適用可能であるが、特に隠れた共通原因や潜在的交絡要因を含む因果モデルに対して効果的である。
• 因果的影響の定量的バウンディングと、不等式違反の操作的解釈を可能にする。
• 統計的仮説検定のための臨界値を求めるために、実証的エントロピー推定値とモンテカルロシミュレーションを用いた仮説検定の構築を行う。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンネットワークから導出されたエントロピー不等式は、観測データに隠れた共通原因が存在するかどうかを検出するために用いられるか。
• RQ2 少数の変数の周辺エントロピーは、より大きな変数集合の条件付き独立関係をどの程度明らかにできるか。
• RQ3 実験データが得られない状況下で、エントロピー制約は直接的因果関係と共通原因説明を区別できるか。
• RQ4 エントロピーに基づく不等式を用いて、因果的影響の強さを定量的にバウンディングできるか。
• RQ5 エントロピーに基づく検定は、既知の誤差率を持つ実用的な統計的仮説検定として実装可能か。

主な発見

• 本フレームワークは、観測データと整合しないモデルを拒否できるエントロピー不等式を効果的に導出できた。例えば、完全な相関が観測された場合に直接的因果関係を除外でき、因果強度が上限に達する場合に有効である。
• 図4(b)の三変数モデルでは、忠実性仮定の下で因果構造の違反を検出可能なテスト可能な不等式（不等式8）を同定した。
• 50個のi.i.d.標本を用いたモンテカルロシミュレーションでは、5%有意水準における検定閾値t = 0.0578が得られ、因果モデルからの逸脱を高パワーで検出できた。
• 本フレームワークは、因果的影響の定量的下限を提供し、そのバウンディング違反は直接的因果関係を共通原因構造に優先して除外することを示唆する。
• 因果強度に関する事前バウンディングが得られる限り、実験データなしで直接的因果関係と共通原因構造を区別可能である。
• 本手法は変数の出力数に依存せず、エントロピーの線形性に焦点を当てることで、代数的手法の複雑さを回避し、ロバストである。