[論文レビュー] Reliable Causal Discovery with Improved Exact Search and Weaker Assumptions

Ignavier Ng, Yujia Zheng+2 more|arXiv (Cornell University)|Jan 14, 2022

Bayesian Modeling and Causal Inference被引用数 4

ひとこと要約

本稿では、忠実性の仮定よりも弱い仮定の下で逆分散行列のサポートに基づくスーパーパターン推定と、局所的A*を用いた改良型の正確な探索を組み合わせることで、スケーラブルで信頼性の高い線形ガウスモデル向け因果発見手法を提案する。この手法は、数百ノードのグラフにおいて高い精度を達成し、スケーラビリティおよび忠実性の近似的な違反に対するロバストネスにおいてベースライン手法を上回る性能を示す。

ABSTRACT

Many of the causal discovery methods rely on the faithfulness assumption to guarantee asymptotic correctness. However, the assumption can be approximately violated in many ways, leading to sub-optimal solutions. Although there is a line of research in Bayesian network structure learning that focuses on weakening the assumption, such as exact search methods with well-defined score functions, they do not scale well to large graphs. In this work, we introduce several strategies to improve the scalability of exact score-based methods in the linear Gaussian setting. In particular, we develop a super-structure estimation method based on the support of inverse covariance matrix which requires assumptions that are strictly weaker than faithfulness, and apply it to restrict the search space of exact search. We also propose a local search strategy that performs exact search on the local clusters formed by each variable and its neighbors within two hops in the super-structure. Numerical experiments validate the efficacy of the proposed procedure, and demonstrate that it scales up to hundreds of nodes with a high accuracy.

研究の動機と目的

• 有限サンプルにおける忠実性の近似的な違反に対して感受性が強い、忠実性に基づく因果発見手法の限界を解消すること。
• 計算コストが高いため通常は小さなグラフに限定される、正確なスコアベースの因果発見手法のスケーラビリティを向上させること。
• 忠実性よりも厳密に弱い仮定、例えばSSCF仮定の下で漸近的に正しいとされるスーパーパターン推定手法を開発すること。
• 各変数とそのスーパーパターン内での2ホップ以内の隣接ノードからなる局所的クラスタ上で正確な探索を実行する、局所的探索戦略（Local A*）を導入すること。
• 大規模なグラフ（最大300ノード）において構造回復精度が高く、かつ忠実でない条件付き独立性の影響に対してもロバストであることを実証すること。

提案手法

• 逆分散行列（精度行列）のサポートに基づくスーパーパターン推定を実行し、これはSSCF仮定の下で一貫性を持つ。
• このスーパーパターンを用いて、A*や動的計画法（DP）などの正確な探索アルゴリズムの探索空間を制限することで、計算複雑性を低減する。
• 各変数とそのスーパーパターン内での2ホップ以内の隣接ノードからなる局所的クラスタ上で正確な探索を実行する局所的探索戦略（Local A*）を開発する。
• 各局所的クラスタ内でスコアベースの最適化（例：BIC）を用いることで、SMR仮定の下で漸近的に正しい結果を得る。
• スーパーパターン推定と局所的正確探索を組み合わせることで、精度とスケーラビリティのバランスを図り、大規模グラフにおけるグローバル探索を回避する。
• 逆分散行列のサポートが条件付き独立関係を捉えることができることを活用し、近似的な非忠実性下でも頑健なスケルトン回復を可能にする。

実験結果

リサーチクエスチョン

• RQ1 SSCFや三角形忠実性などの、忠実性よりも弱い仮定の下で、因果発見のためのスーパーパターンを推定できるか？
• RQ2 正確なスコアベースの因果発見手法を、漸近的正しさを損なわずに大規模グラフにスケーリングできるか？
• RQ3 スーパーパターンのクラスタ上で実行する局所的探索戦略は、グローバルな正確探索の最適性を保ちつつ、計算効率を向上させることができるか？
• RQ4 本手法は、忠実性の近似的な違反が生じる実際の状況下で、特にグリーディーや制約ベースのベースラインと比較して、どのように性能を発揮するか？
• RQ5 本手法の性能は、スーパーパターン推定の品質にどの程度依存するか。また、グラフサイズの増大に伴い、どのようにスケーリングするか？

主な発見

• 逆分散行列のサポートに基づく本手法のスーパーパターン推定は、忠実性よりも厳密に弱いSSCF仮定の下で漸近的に正しい。
• Local A*は、すべてのテスト設定においてグローバルに最適な解を達成しており、A*-SSと同等の性能を示し、他のベースラインと比較して特に大規模グラフにおける構造回復性能が優れている。
• 本手法は最大300ノードのグラフにスケーリング可能であり、Local A*は合理的な時間枠内で完了するが、標準的なA*は約20ノードまでに制限される。
• A*-SSとLocal A*は、忠実性の近似的な違反が生じる設定において、PCやFGESを著しく上回り、このような違反に対して強いロバストネスを示している。
• MMHCはLocal A*より高速であるが、大規模グラフでは構造回復性能が著しく劣り、Local A*がより優れた精度-効率トレードオフを実現していることが示された。
• 大規模なサンプルサイズ（n=10,000）では、各手法間の性能差が縮小するが、近似的な違反の可能性が低くなるため、Local A*は依然として優れた性能を維持している。