[論文レビュー] Beware of the Simulated DAG! Varsortability in Additive Noise Models.

Alexander G. Reisach, Christof Seiler+1 more|arXiv (Cornell University)|Feb 26, 2021

Bayesian Modeling and Causal Inference参考文献 21被引用数 5

ひとこと要約

本稿では、加法的ノイズモデルにおける、周辺分散による変数順序と因果的順序の整合性を測る指標「varsortability」を導入する。合成データ上での構造学習性能に強く影響を与えることが示されたが、実世界のデータでは現実的でなく、検証不可能であるため、ベンチマーク手法に注意を喚起し、シミュレーションに起因するアーティファクトを露呈させるためにvarsortabilityの報告を提唱する。

ABSTRACT

Additive noise models are a class of causal models in which each variable is defined as a function of its causes plus independent noise. In such models, the ordering of variables by marginal variances may be indicative of the causal order. We introduce varsortability as a measure of agreement between the ordering by marginal variance and the causal order. We show how varsortability dominates the performance of continuous structure learning algorithms on synthetic data. On real-world data, varsortability is an implausible and untestable assumption and we find no indication of high varsortability. We aim to raise awareness that varsortability easily occurs in simulated additive noise models. We provide a baseline method that explicitly exploits varsortability and advocate reporting varsortability in benchmarking data.

研究の動機と目的

• 加法的ノイズモデルにおける周辺分散順序と因果的順序の一致度を測る指標としてのvarsortabilityを定義・形式化すること。
• varsortabilityが合成データ上での連続的構造学習アルゴリズムの性能にどのように影響するかを調査すること。
• 実世界のデータにおいて高水準のvarsortabilityが現実的であるか、あるいは検証可能であるという仮定を疑問視すること。
• varsortabilityがシミュレーション由来のアーティファクトである可能性があり、実因果系の一般化可能な性質ではないという認識を広めること。
• 因果構造学習研究における透明性と再現可能性を高めるために、ベンチマークでvarsortabilityを報告することを提唱すること。

提案手法

• varsortabilityは、因果的順序と周辺分散でソートした変数順序との間の順位相関（例：ケンダールのtau）を用いて測定される。
• varsortabilityの異なる水準を想定した加法的ノイズモデルに基づく合成データ上で、構造学習アルゴリズムの性能を評価する。
• varsortabilityを明示的に活用するためのベースライン構造学習手法を提案し、分散に基づく変数順序を事前分布として用いる。
• 実世界のデータセットを分析して、高水準のvarsortabilityが実証的に観察されるか、それとも単なるシミュレーションアーティファクトに過ぎないかを検証する。
• 異なるvarsortability水準におけるアルゴリズム性能を比較し、その影響を分離する。
• 理論的および実験的分析を用いて、varsortabilityが合成設定では性能を支配するが、実データでは実証的根拠を欠いていることを示す。

実験結果

リサーチクエスチョン

• RQ1 varsortabilityは、合成的加法的ノイズモデルデータ上での連続的構造学習アルゴリズムの性能をどの程度説明できるか？
• RQ2 高水準のvarsortabilityは、実世界のデータセットにおいて現実的であるか、あるいは検証可能であると見なせるか？
• RQ3 varsortabilityは構造学習アルゴリズムにおける信頼できる誘導的バイアスとして利用可能か？
• RQ4 実データにvarsortabilityが存在しない場合でも、なぜ構造学習アルゴリズムは合成データ上で良好に動作するのか？
• RQ5 因果構造学習におけるベンチマーク手法をどのように改善すれば、varsortabilityを検出・報告できるか？

主な発見

• varsortabilityは、合成データ上での連続的構造学習アルゴリズムの性能を決定づける主要因であり、他の構造的性質よりも精度の分散を多く説明することが多い。
• 実世界のデータセットでは高水準のvarsortabilityは観察されず、これは実因果系に対して現実的でない仮定であることを示している。
• 構造学習アルゴリズムの合成データ上での性能は、主にvarsortabilityの存在に起因しており、これが実データに一般化されない可能性がある。
• 著者らは、実世界のデータに高水準のvarsortabilityが実証的に観察されないことを確認しており、これは現在のベンチマークがこのアーティファクトに偏った最適化がなされている可能性を示唆している。
• varsortabilityを活用するベースライン手法は、合成データ上での性能が著しく高く、シミュレーション設定下でのヒューリスティックとしての有効性を確認している。
• 因果発見研究におけるシミュレーション由来バイアスを検出・緩和するため、ベンチマークでvarsortabilityを報告することが不可欠であると提唱する。