[論文レビュー] Causal Inference and Mechanism Clustering of A Mixture of Additive Noise Models

Shoubo Hu, Zhitang Chen+3 more|arXiv (Cornell University)|Sep 23, 2018

Gaussian Processes and Bayesian Inference被引用数 12

ひとこと要約

本稿では、複数の異種な因果的プロセスから生成されたデータにおける因果推論およびメカニズムクラスタリングに対処するため、加法的ノイズモデルの混合（ANM-MM）を提案する。ガウス過程潜在変数モデル（GP-LVM）をガウス過程部分的に観測可能なモデル（GPPOM）に拡張することで、因果的向きの特定と、背後にあるメカニズムごとの観測値のクラスタリングを可能にし、合成データおよび実世界のデータ（スイス2地域の大気質データを含む）において、因果推論の正確性が100%に達し、頑健なクラスタリング性能を達成した。

ABSTRACT

The inference of the causal relationship between a pair of observed variables is a fundamental problem in science, and most existing approaches are based on one single causal model. In practice, however, observations are often collected from multiple sources with heterogeneous causal models due to certain uncontrollable factors, which renders causal analysis results obtained by a single model skeptical. In this paper, we generalize the Additive Noise Model (ANM) to a mixture model, which consists of a finite number of ANMs, and provide the condition of its causal identifiability. To conduct model estimation, we propose Gaussian Process Partially Observable Model (GPPOM), and incorporate independence enforcement into it to learn latent parameter associated with each observation. Causal inference and clustering according to the underlying generating mechanisms of the mixture model are addressed in this work. Experiments on synthetic and real data demonstrate the effectiveness of our proposed approach.

研究の動機と目的

• 実世界のデータでは観測値が複数の異種な因果的メカニズムに起因するが、単一の因果モデル手法には限界があることに対処する。
• 一般条件下で識別可能な因果的向きを有する、加法的ノイズモデルの混合（ANM-MM）を形式化する。
• 関数形が同一であるがパラメータ値が異なるメカニズムに対しても、観測値をそれらの背後にあるデータ生成メカニズムに従ってクラスタリングする手法を開発する。
• 混合データソース、連続変数、および変動するノイズレベルが存在する状況においても、頑健な因果推論とメカニズムクラスタリングを可能にする。

提案手法

• 各成分が同じ関数形を持つが、パラメータ値（θ）が異なり、θが有限のメカニズム集合上の離散分布から抽出される、加法的ノイズモデルの混合モデル（ANM-MM）を提案する。
• 各観測値の潜在表現とパラメータ推定を可能にするため、GP-LVMの変種であるガウス過程部分的に観測可能なモデル（GPPOM）を導入する。
• 識別可能性とモデルの一貫性を保証するため、GPPOMフレームワーク内でのノイズ項εと原因Xの独立性を強制する。
• 学習された潜在表現とパラメータ推定値を用いて、因果的向きの推定と、背後にあるメカニズムごとの観測値のクラスタリングを実行する。
• 潜在変数、メカニズムパラメータ、混合割合を同時に推定するための尤度に基づく最適化フレームワークを採用する。
• 性能の妥当性を検証するため、調整ランダムインデックス（ARI）を用いたクラスタリング評価と因果推論の正確性を用いる。

実験結果

リサーチクエスチョン

• RQ1 異なるパラメータ値を持つ複数のメカニズムから生成されたデータにおいて、加法的ノイズモデルの混合（ANM-MM）で因果的向きを特定できるか？
• RQ2 同じ関数形を持ち、ノイズレベルが異なるにもかかわらず、同一の背後メカニズムから生成された観測値は、効果的にクラスタリングできるか？
• RQ3 ノイズ標準偏差、メカニズム数、混合割合の変化に対して、本手法はどの程度頑健か？
• RQ4 異種なデータソースを有する実世界のデータにおいて、既存の因果推論およびクラスタリング手法を上回る性能を示せるか？

主な発見

• ANM-MMでは、一般条件下で因果的向きが識別可能であり、提案手法はすべてのテストされた合成データシナリオで100%の因果推論正確性を達成した。
• 合成データにおいて、メカニズム数が2から3に増加しても、ANM-MMは100%の正確性を維持し、すべてのベースラインを上回った。
• クラスタリングタスクにおいて、ANM-MMは実際のBAFUの大気質データで調整ランダムインデックス（ARI）0.503を達成し、k-means（ARI = -0.001）、GMM（0.003）、スペクトラルクラスタリング（0.078）、DBSCAN（0.003）を著しく上回った。
• ノイズ標準偏差や混合割合の変化に対しても、ANM-MMは高い性能を維持するが、他の手法は著しく性能を低下させた。
• トゥービングン因果推論ベンチマークでは、ANM-MMは中央値の正確度約82%を達成し、比較されたすべての手法の中で最高であった。
• 本手法は大気質データにおいて、場所に基づくメカニズムを効果的に特定でき、2つの異なるスイス地域からのデータをクラスタリングにより正しく識別したが、他の手法はこのような構造を捉えられなかった。