[論文レビュー] Amortized learning of neural causal representations

Nan Rosemary Ke, Jane X. Wang+3 more|arXiv (Cornell University)|Aug 21, 2020

Bayesian Modeling and Causal Inference参考文献 23被引用数 4

ひとこと要約

この論文は、新しい因果構造への高速適応を可能にするために、連続的でアンモタイズド（即時的）な因果グラフ表現を学習するニューラルネットワークフレームワーク、Causal Relational Networks (CRN) を導入する。メタラーニングを用い、介入データと微分可能なグラフデコーダーを統合することで、合成データ上でのエッジ正確度が90%に達し、ベースラインを著しく上回り、スケーラブルで転送可能な因果発見のための連続的因果表現の有効性を示している。

ABSTRACT

Causal models can compactly and efficiently encode the data-generating process under all interventions and hence may generalize better under changes in distribution. These models are often represented as Bayesian networks and learning them scales poorly with the number of variables. Moreover, these approaches cannot leverage previously learned knowledge to help with learning new causal models. In order to tackle these challenges, we represent a novel algorithm called extit{causal relational networks} (CRN) for learning causal models using neural networks. The CRN represent causal models using continuous representations and hence could scale much better with the number of variables. These models also take in previously learned information to facilitate learning of new causal models. Finally, we propose a decoding-based metric to evaluate causal models with continuous representations. We test our method on synthetic data achieving high accuracy and quick adaptation to previously unseen causal models.

研究の動機と目的

• 従来のベイジアンネットワークベースの因果構造学習におけるスケーラビリティと転送性の制限を解決すること。
• メタラーニングを活用して、事前に学習した知識を活かして新しい因果グラフへの高速適応を可能にすること。
• 効率的な推論と一般化を可能にする、微分可能な連続的因果グラフ表現の開発。
• 連続的表現を持つ因果モデルの評価のためのデコーディングベースの指標を提案し、暗黙的で連続的な構造と真値グラフを比較する課題を克服すること。

提案手法

• 各エピソードで新しい別個の因果グラフをサンプリングし、それから介入データを生成するメタラーニングの設定を採用する。
• 介入データを処理し、因果構造を表す連続的信念状態を生成するための関係型ニューラルネットワークエンコーダーを採用する。
• 連続的信念状態から隣接行列を再構築するグラフデコーダーを導入し、エッジ正確度による評価を可能にする。
• 関係型オートエンコーダーを用いた自己教師あり対照学習により、グラフ構造の明示的教師信号なしに意味のある表現を学習する。
• 信念状態の学習とグラフデコーダーの学習を分離するために、ストップ・グラデント操作を適用し、教師信号を用いたエンドツーエンドの学習を可能にする。
• 関係型エンコーダーにおけるアテンション機構を活用し、因果グラフ内の変数間の複雑な依存関係をモデル化する。

実験結果

リサーチクエスチョン

• RQ1 連続的でニューラルな因果グラフ表現は、離散的ベイジアンネットワーク探索と比較して、より高速かつスケーラブルな因果発見を可能にするか？
• RQ2 メタラーニングに基づくアーモタイズド学習により、多様なグラフで学習した後、モデルは訓練済みのグラフとは異なる未観測の因果構造に一般化できるか？
• RQ3 連続的信念状態は、正確な因果グラフの再構築に十分か、それともデコーダーからの明示的教師信号が必要か？
• RQ4 提案されたデコーディングベースの指標は、従来の構造マッチングと比較して、連続的因果表現の評価においてどれほど有効か？
• RQ5 関係型アーキテクチャは、MLP やLSTM などの単純なベースラインと比較して、どれほど性能を向上させるか？

主な発見

• Causal Relational Network (CRN) は、学習後、合成因果グラフ上で90%のエッジ予測正確度を達成し、LSTMベースラインの約70%に留まるのと比べ顕著に優れていた。
• モデルはエピソード内での迅速な適応を示した。観測された介入サンプルが増えるにつれてエッジ正確度が向上し、効果的なアーモタイズド推論を示した。
• グラフデコーダーから信念状態を除去すると正確度が60%未満に低下し、連続的表現が因果構造回復に不可欠な情報を含んでいることを証明した。
• グラフデコーダーに教師信号を導入することで、エッジ正確度が90%から95%に向上した。これはデコーダーが勾配フィードバックから利益を受けることを示した。
• 関係型オートエンコーダーは不可欠であった。これなしでは、オートエンコーダーなしのベースラインで示されるように、意味のある表現を学習できず、性能が著しく低下した。
• デコーディングベースの評価指標は、真値因果構造の回復能力を的確に捉えており、完全な介入予測比較に代わるスケーラブルな代替手段を提供した。