[論文レビュー] Masked Gradient-Based Causal Structure Learning

Ignavier Ng, Shengyu Zhu+4 more|arXiv (Cornell University)|Oct 18, 2019

Bayesian Modeling and Causal Inference被引用数 6

ひとこと要約

本稿では、勾配ベースの最適化を可能にする新しい微分可能フレームワークであるマスク付き勾配ベース因果構造学習（MCSL）を提案する。この手法は、因果構造を表す二値隣接行列（マスク）を用いて構造的方程式モデル（SEM）を再定式化し、勾配ベースの最適化を可能にする。Gumbel-Softmaxを用いた離散的エッジ推定と滑らかなサイクルなし制約を組み合わせることで、非線形、ベクトル値、および後非線形モデルを含む多様なデータタイプにおいて、最先端の性能を達成する。また、予測値が0または1に近くなる性質により、0.5の閾値を用いた簡単なエッジ抽出が可能である。

ABSTRACT

This paper studies the problem of learning causal structures from observational data. We reformulate the Structural Equation Model (SEM) with additive noises in a form parameterized by binary graph adjacency matrix and show that, if the original SEM is identifiable, then the binary adjacency matrix can be identified up to super-graphs of the true causal graph under mild conditions. We then utilize the reformulated SEM to develop a causal structure learning method that can be efficiently trained using gradient-based optimization, by leveraging a smooth characterization on acyclicity and the Gumbel-Softmax approach to approximate the binary adjacency matrix. It is found that the obtained entries are typically near zero or one and can be easily thresholded to identify the edges. We conduct experiments on synthetic and real datasets to validate the effectiveness of the proposed method, and show that it readily includes different smooth model functions and achieves a much improved performance on most datasets considered.

研究の動機と目的

• 重み付き隣接行列に依存し、モデルの誤指定に敏感な従来の勾配ベース因果構造学習手法の限界を解消すること。
• 任意のモデル関数（例：ニューラルネットワーク、多項式）を組み込める柔軟で微分可能なフレームワークを構築し、構造的仮定を必要としないこと。
• 二値マスク推定により自然に0または1に集積する性質を活かし、0.5の閾値による単純なエッジ抽出が可能な、強固なエッジ同定を実現すること。
• 隣接行列の固有値半径に基づく滑らかで微分可能なDAG制約を用いて、最適化中にサイクルのない構造を保証すること。
• 合成データおよび実世界のデータセット（特に後非線形およびベクトル値モデルを含む）において、本手法の有効性を検証すること。

提案手法

• 因果関係を表す二値隣接行列（マスク）を用いて、加法的ノイズモデル（ANM）を再定式化し、各エントリが親変数が子変数に影響を与えるかどうかを決定する。
• 隣接行列の固有値半径に基づく滑らかで微分可能なサイクルなし制約を導入し、勾配ベースの最適化を可能にする。
• 離散的二値マスクの微分可能な近似としてGumbel-Softmaxの緩和を採用し、エッジ選択プロセスにおける誤差逆伝播を可能にする。
• 観測変数と予測変数の再構成誤差に基づくスコア関数を用い、確率的勾配降下法により最適化する。
• 最終的なマスク推定値に対して0.5の閾値を適用し、離散的因果グラフを抽出する。予測値が0または1に強く集積するため、ハイパーパramータのチューニングなしに信頼できるエッジ同定が可能である。
• 直接的にマスク付きSEMフレームワークに埋め込むことで、MLPや多項式などの柔軟なモデル関数をサポートし、構造学習と関数形の仮定を分離する。

実験結果

リサーチクエスチョン

• RQ1 SEMの二値マスクパラメータライゼーションが、弱い条件下でも真の因果グラフの同定を可能にするか？
• RQ2 二値エッジの微分可能な緩和を用いて、勾配ベース最適化を離散的因果構造学習に効果的に適用できるか？
• RQ3 本手法が、従来の手法が失敗する非線形、ベクトル値、後非線形データモデルに一般化できるか？
• RQ4 マスクエントリを固定の0.5閾値で信頼性高く閾値処理し、手動のチューニングなしに正確な因果グラフを回復できるか？
• RQ5 多様なデータ分布において、SOTAベースライン（例：NOTEARS、DAG-GNN、GraN-DAG、CAM）と比較して本手法はどのように性能を発揮するか？

主な発見

• MCSL-MLPは、実際のSachsデータセットにおいて平均12の構造的ハミング距離（SHD）を達成し、CAMと同等でGraN-DAG（SHD=13）を上回った。
• 10～50ノードの後非線形モデルにおいて、MCSL-MLPは最小のSHDと最高のTPR（真正陽性率）を達成し、GraN-DAGおよびCAMを著しく上回った。
• 非線形2次モデルにおいて、MCSL-MLPはSHD 1.4を達成し、NOTEARSおよびDAG-GNNを含むすべてのベースラインを上回った。
• 通信障害原因特定タスクにおいて、MCSLはテストケースの80％で原因を正しく同定した。他の手法の30％の成功率を大きく上回った。
• モデルの誤指定に対しても頑健であることが示され、GraN-DAGおよびCAMが要請する制限付きANM仮定を満たさないデータでも、強力な性能を維持した。
• 予測されたマスクエントリが0または1に強く集積しており、ハイパーパramータチューニングなしに固定の0.5閾値による信頼性の高いエッジ同定が可能であった。