[論文レビュー] Causal Dependence Tree Approximations of Joint Distributions for Multiple Random Processes

Christopher J. Quinn, Todd P. Coleman+1 more|arXiv (Cornell University)|Jan 26, 2011

Bayesian Modeling and Causal Inference参考文献 33被引用数 6

ひとこと要約

本稿では、複数の確率過程の連合分布に対する因果的依存木近似を提案し、ChowとLiuの依存木法を拡張して時系列的因果関係を保持する。エッジを貫く指向情報の和を最大化することで、KLダイバージェンスを最小化し、線形計算量で効率的かつ因果関係に配慮したモデリングを可能にする。仮説検定タスクにおいて、標準的なChow-Liu木を上回る性能を示す。

ABSTRACT

We investigate approximating joint distributions of random processes with causal dependence tree distributions. Such distributions are particularly useful in providing parsimonious representation when there exists causal dynamics among processes. By extending the results by Chow and Liu on dependence tree approximations, we show that the best causal dependence tree approximation is the one which maximizes the sum of directed informations on its edges, where best is defined in terms of minimizing the KL-divergence between the original and the approximate distribution. Moreover, we describe a low-complexity algorithm to efficiently pick this approximate distribution.

研究の動機と目的

• 複数の確率過程の連合分布を、因果的時系列的ダイナミクスを保持する簡潔な表現として開発すること。
• ChowとLiuの手法の限界に対処すること。同手法は時系列順序を維持できず、未来から過去への依存関係を示す可能性がある。
• 真の連合分布からのKLダイバージェンスを最小化する因果的依存木を構築する低複雑性のアルゴリズムを提供すること。
• ネットワークインシデント検出やファーストレスポンスシステムなどの時系列応用分野における正確な推論と意思決定を可能にすること。
• 標準的なChow-Liu木および完全な連合モデルと比較して、二値仮説検定において優れた性能を示すことを実証すること。

提案手法

• ChowとLiuの依存木フレームワークを拡張し、相互情報量の代わりに指向情報を用いて時系列的因果順序を強制する。
• 最適な因果的依存木を、エッジを貫く指向情報の和を最大化することで定義し、KLダイバージェンスを最小化する。
• 指向情報をエッジの重みとして用いる低複雑性のアルゴリズムを適用し、最小全域木に類似した手法を採用する。
• 共分散行列の行列式を用いて計算される、連合ガウス過程間の指向情報の公式を用いる：$ I(\mathbf{X} \to \mathbf{Y}) = \sum_{i=1}^n I(Y_i; X^i | Y^{i-1}) $。
• 近似性能の評価のため、既知の因果構造を持つ連合ガウス過程の生成モデルを構築する。
• 閾値付きの決定ルールを用いた対数尤度比検定を用いて、モデル間の分類性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 真の連合分布からのKLダイバージェンスを最小化することによって定義される、複数の確率過程の連合分布に対する最適な因果的依存木近似とは何か？
• RQ2 指向情報をどのように用いることで、時系列順序を尊重し、未来から過去への依存関係を避ける因果木を構築できるか？
• RQ3 低複雑性のアルゴリズムが、最良の因果的依存木近似を効率的に計算できるか？
• RQ4 統計的推論タスクにおいて、因果的依存木近似は標準的なChow-Liu木と比較してどの程度の性能を示すか？
• RQ5 構造的単純化にもかかわらず、因果的依存木近似は二値仮説検定においてどの程度の識別性能を保持できるか？

主な発見

• 最適な因果的依存木は、エッジを貫く指向情報の和を最大化するものであり、真の連合分布からのKLダイバージェンスを最小化する。
• 提案されたアルゴリズムは、時間ステップ数に対して線形計算量を達成し、長時間系列データへのスケーラビリティを実現する。
• 二値仮説検定において、因果的依存木近似はChow-Liu依存木を上回り、AUC曲線が完全な連合分布に近づく。
• 完全な連合分布の依存関係数1,770を、因果木では495に削減しても、依然として強力な識別性能を維持した。
• 因果的依存木近似は、元のモデルとトポロジカルに異なる構造を生成したが、元の因果グラフがトポロジ的に類似していた場合でも同様であった。
• 本手法は因果的ダイナミクスを効果的に保持し、標準的なChow-Liu近似で一般的に見られる直感に反する未来から過去への依存関係を回避した。