[論文レビュー] Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting

An Zhang, Fangfu Liu+4 more|arXiv (Cornell University)|Mar 6, 2023

Bayesian Modeling and Causal Inference被引用数 4

ひとこと要約

本論文は、二段階最適化を用いて学習サンプルを適応的に再重み付けすることで、微分可能な因果発見を向上させるモデルに依存しないフレームワークReScoreを提案する。困難で情報量の多いサンプルを重み付けし、容易で誤りの原因となるサンプルを軽視することで、非一様なデータにおいてDAG構造学習の精度と一般化性能が著しく向上し、合成データおよび実世界データの複数のベースラインで最先端の性能を達成する。

ABSTRACT

Under stringent model type and variable distribution assumptions, differentiable score-based causal discovery methods learn a directed acyclic graph (DAG) from observational data by evaluating candidate graphs over an average score function. Despite great success in low-dimensional linear systems, it has been observed that these approaches overly exploit easier-to-fit samples, thus inevitably learning spurious edges. Worse still, inherent mostly in these methods the common homogeneity assumption can be easily violated, due to the widespread existence of heterogeneous data in the real world, resulting in performance vulnerability when noise distributions vary. We propose a simple yet effective model-agnostic framework to boost causal discovery performance by dynamically learning the adaptive weights for the Reweighted Score function, ReScore for short, where the weights tailor quantitatively to the importance degree of each sample. Intuitively, we leverage the bilevel optimization scheme to \wx{alternately train a standard DAG learner and reweight samples -- that is, upweight the samples the learner fails to fit and downweight the samples that the learner easily extracts the spurious information from. Extensive experiments on both synthetic and real-world datasets are carried out to validate the effectiveness of ReScore. We observe consistent and significant boosts in structure learning performance. Furthermore, we visualize that ReScore concurrently mitigates the influence of spurious edges and generalizes to heterogeneous data. Finally, we perform the theoretical analysis to guarantee the structure identifiability and the weight adaptive properties of ReScore in linear systems. Our codes are available at https://github.com/anzhang314/ReScore.

研究の動機と目的

• 微分可能なスコアベースの因果発見手法における、容易で誤りの原因となるサンプルへの過学習を是正すること。
• 非一様な実世界データにおけるノイズ分布のずれによって引き起こされる性能低下を緩和すること。
• 学習の難易度に基づいて動的にサンプル重みを割り当てるモデルに依存しないフレームワークを開発すること。
• ドメインのアノテーションを必要とせず、構造学習の精度と一般化性能を向上させること。
• 線形系において構造同定可能性と適応的重み学習を理論的に保証すること。

提案手法

• ReScoreは、標準的なDAG学習者と適応的サンプル重みを交互に最適化する二段階最適化スキームを採用する。
• 上位最適化は、下位最適化におけるDAG学習者のフィッティング性能に基づいてサンプル重みを調整する。
• DAG学習者によってうまくフィットしないサンプルは、その情報量の高さを強調するために重み付けを増す。
• スパイルスなエッジによって容易にフィットするサンプルは、学習プロセスへの影響を低減するために重み付けを減らす。
• 再重み付け機構は、サンプル固有の重みを組み込んだ微分可能な損失関数を通じて実装される。
• このフレームワークは、任意のスコアベースのDAG学習者と互換性があり、モデルに依存せず広く適用可能である。

実験結果

リサーチクエスチョン

• RQ1 スパイルスなエッジが存在する状況下でも、適応的サンプル再重み付けは微分可能な因果発見の精度を向上させ得るか？
• RQ2 ドメインアノテーションを必要とせず、非一様なデータへの一般化性能をReScoreは向上させ得るか？
• RQ3 適応的重み付け機構は、一様または固定重み付けと比較して、情報量の多いサンプルの同定をより良く行うか？
• RQ4 ReScoreは、合成データおよび実世界データを含む多様なベースラインとデータタイプにおいて、どのように性能を発揮するか？
• RQ5 提案された再重み付け機構の同定可能性と適応的挙動の理論的根拠は何か？

主な発見

• NOTEARSが失敗する合成チェーン構造において、ReScoreは構造的ハミング距離（SHD）を100%削減し、スパイルスなエッジの排除能力を示している。
• 実世界の非一様データセットSachsにおいて、GES+ReScoreはTPR 0.588、SHD 28を達成し、真の摂動アノテーションを使用するCD-NODを上回った。
• GraN-DAG+ReScoreはSHD 15、予測エッジ数15を達成し、ドメイン知識を一切使用しないにもかかわらずCD-NODと同等の性能を示した。
• 複数のデータセットにおいて、Baseline+ReScoreはTPRを最大31.4%向上させ、FDRを最大30%削減した。
• ReScoreは、合成データおよび実世界データの両方において、NOTEARS-MLP、GOLEM、GraN-DAGを含むすべてのテストベースラインでSHDとSIDを一貫して向上させた。
• アブレーションスタディにより、ReScoreの適応的重み付けが不可欠であることが確認され、固定重みベースライン（例：Baseline+IPS）では著しい性能低下が見られた。