[論文レビュー] Applications of Common Entropy for Causal Inference

Murat Kocaoglu, Sanjay Shakkottai+3 more|arXiv (Cornell University)|Jul 26, 2018

Bayesian Modeling and Causal Inference被引用数 9

ひとこと要約

本稿では、因果推論のためのツールとしてRényi共通エントロピーを導入し、潜在変数のエントロピーを最小化する反復的アルゴリズムを提案する。観測変数の条件付き独立性を保証しながら、潜在変数のエントロピーを低く保つことで、因果グラフと誤った相関を区別でき、小標本領域における制約ベースの因果推論を向上させることを示している。

ABSTRACT

We study the problem of discovering the simplest latent variable that can make two observed discrete variables conditionally independent. The minimum entropy required for such a latent is known as common entropy in information theory. We extend this notion to Renyi common entropy by minimizing the Renyi entropy of the latent variable. To efficiently compute common entropy, we propose an iterative algorithm that can be used to discover the trade-off between the entropy of the latent variable and the conditional mutual information of the observed variables. We show two applications of common entropy in causal inference: First, under the assumption that there are no low-entropy mediators, it can be used to distinguish causation from spurious correlation among almost all joint distributions on simple causal graphs with two observed variables. Second, common entropy can be used to improve constraint-based methods such as PC or FCI algorithms in the small-sample regime, where these methods are known to struggle. We propose a modification to these constraint-based methods to assess if a separating set found by these algorithms is valid using common entropy. We finally evaluate our algorithms on synthetic and real data to establish their performance.

研究の動機と目的

• 潜在変数の複雑さを基準として、観測データにおける因果関係と誤った相関関係を区別する課題に対処すること。
• 2つの観測変数が条件付き独立となるような潜在変数のエントロピーを最小化する、効率的なRényi共通エントロピーの計算アルゴリズムを開発すること。
• PCやFCIなどの制約ベースの因果推論手法の小標本下でのロバスト性を、共通エントロピーを用いた分離集合の検証によって向上させること。
• 提案手法を合成データおよび実世界データに対して評価し、潜在変数の同定において勾配降下法、EM法、NMF法を上回ることを示すこと。

提案手法

• 潜在変数の複雑さの尺度としてRényi共通エントロピーを提案し、XとYが条件付き独立となるような潜在変数ZのRényiエントロピーを最小化する。
• 共通エントロピーを計算する反復的アルゴリズムを構築し、約200回の反復で収束する。これは勾長降下法（350,000回の反復）と比べて著しく高速である。
• 一定ステップサイズを用いた反復的更新ルールを採用し、速度および収束品質の両面で勾長降下法を上回る。
• 制約ベースのアルゴリズム（例：PC、FCI）における分離集合の検証に共通エントロピーを適用し、小標本領域における性能向上を実現する。
• 反復的アルゴリズムをEM法およびNMF法と比較し、EM法は潜在エントロピーを増加させ、解を悪化させることを示し、初期の共通エントロピー結果を改善しない。
• 条件付き相互情報量I(X;Y|Z)とH(Z)のバランスを取る損失関数を採用し、収束状態はI-H平面で監視する。

実験結果

リサーチクエスチョン

• RQ1 Rényi共通エントロピーは、潜在共変動要因を伴う因果グラフと、直接的または中間的効果を伴うグラフを効果的に区別できるか？
• RQ2 低エントロピーの潜在共変動要因は、2変数系において因果関係と誤った相関関係を信頼性高く検出可能か？
• RQ3 共通エントロピーは、小標本設定における制約ベースの因果推論アルゴリズムの性能を向上させられるか？
• RQ4 反復的アルゴリズムは、勾長降下法、EM法、NMF法と比較して、収束速度および解の質において優れているか？
• RQ5 潜在変数のエントロピーと条件付き相互情報量の間には、どのような根本的トレードオフが存在するか？

主な発見

• 反復的アルゴリズムは約200回の反復で収束するが、勾長降下法は350,000回の反復を要し、1回の更新あたり40％の高速化が達成された。
• 反復的手法は勾長降下法を上回る性能を発揮し、大きなステップサイズでは収束に失敗し、小さなステップサイズでは著しく遅延する。
• 反復的アルゴリズムの出力をEM法に適用すると、潜在エントロピーが増加し、解が悪化する。初期の共通エントロピーの結果を改善しない。
• NMF法は真の潜在次元に制約を課しても、エントロピーおよび条件付き相互情報量の両面で反復的アルゴリズムの性能を達成できない。
• $X \leftarrow Z \rightarrow Y$モデルにおいて、反復的アルゴリズムは真の潜在エントロピーに近いエントロピーを持つ潜在変数を同定し、NMFおよびEMを上回る。
• 直接的因果効果（$X \rightarrow Y$）が存在する状況でも、反復的アルゴリズムはNMFよりも優れた潜在要因を発見し、より低いエントロピーおよび低い条件付き相互情報量を達成する。