[논문 리뷰] Beware of the Simulated DAG! Causal Discovery Benchmarks May Be Easy To Game

Alexander G. Reisach, Christof Seiler외 1명|arXiv (Cornell University)|2021. 02. 26.

Bayesian Modeling and Causal Inference참고 문헌 50인용 수 24

한 줄 요약

이 논문은 일반적인 시뮬레이션된 additive noise 모델에서 Marginal variance 패턴이 인과 순서와 맞물려 varsortability를 형성하고, 원 데이터(raw data)에서는 간단한 baseline이 고급 인과 탐지 방법과 대등하게 작동하지만 표준화된 데이터에서는 실패한다는 것을 보여 주며 벤치마크의 타당성에 도전한다.

ABSTRACT

Simulated DAG models may exhibit properties that, perhaps inadvertently, render their structure identifiable and unexpectedly affect structure learning algorithms. Here, we show that marginal variance tends to increase along the causal order for generically sampled additive noise models. We introduce varsortability as a measure of the agreement between the order of increasing marginal variance and the causal order. For commonly sampled graphs and model parameters, we show that the remarkable performance of some continuous structure learning algorithms can be explained by high varsortability and matched by a simple baseline method. Yet, this performance may not transfer to real-world data where varsortability may be moderate or dependent on the choice of measurement scales. On standardized data, the same algorithms fail to identify the ground-truth DAG or its Markov equivalence class. While standardization removes the pattern in marginal variance, we show that data generating processes that incur high varsortability also leave a distinct covariance pattern that may be exploited even after standardization. Our findings challenge the significance of generic benchmarks with independently drawn parameters. The code is available at https://github.com/Scriddie/Varsortability.

연구 동기 및 목표

• ANM에서 데이터 규모와 한계 분산이 인과 구조 학습에 미치는 영향에 대한 동기 부여
• 한계 분산 순서와 인과 순서 간의 정렬 정도를 측정하는 varsortability 도입
• 높은 varsortability가 원 데이터에서 연속적 구조 학습 알고리즘의 성능을 좋게 하는 반면 표준화 후에는 좋지 않다는 점 보임
• varsortability의 효과를 벤치마킹 결과에 정량화하기 위한 간단한 baseline(sortnregress) 제시

제안 방법

• (varsortability 정의) 방향 경로에서 원천 노드의 분산이 타깃 노드보다 작아야 하는 비율로 정의
• 식별가능성 분석: varsortability = 1이면 데이터 규모로부터 인과 순서를 식별 가능하다고 봄
• 원 데이터와 표준화된 데이터에서의 PC, FGES, DirectLiNGAM, MSE-GDS, NOTEARS, GOLEM 등 조합적/연속적 구조 학습 알고리즘의 비교
• MSE 기반 점수의 기울기 동작이 varsortability가 높을수록 인과 방향을 선호하는 비대칭을 보임 시연
• 전제 진단 baseline으로서 sortnregress 제안: 주변 분산에 따라 순서를 매기고 선행자를 회귀

실험 결과

연구 질문

• RQ1 Varsortability가 addtive noise 모델에서 인과 순서의 식별가능성에 어떤 영향을 미치는가?
• RQ2 연속적 구조 학습 알고리즘은 데이터 규모에 의존하는가, 표준화가 성능에 어떤 영향을 주는가?
• RQ3 간단한 주변 분산 활용 baseline(sortnregress)가 원시 합성 데이터에서 최첨단 방법과 일치할 수 있는가?
• RQ4 데이터가 표준화되거나 측정 척도가 다양해질 때 벤치마크 결과는 어떻게 달라지는가?
• RQ5 표준화 후에도 학습 가능성을 남길 수 있는 공분산 패턴은 무엇인가?

주요 결과

• Varsortability는 일반적인 ANM 벤치마크 시뮬레이션에서 높게 나타나며, 한계 분산이 인과 순서와 정렬됨
• varsortability가 높을 때 연속적 방법(NOTEARS, GOLEM)은 원 데이터에서 기초 DAG를 복원하고 간단한 baseline(sortnregress)과 일치할 수 있다
• 표준화된 데이터에서 동일한 알고리즘은 원 데이터에서의 초기 성공에도 불구하고 기초 DAG 또는 MEC를 식별하지 못함
• 표준화는 변분 분포 패턴을 제거하지만 데이터 생성을 통해 유도된 특정 공분산 구조는 표준화 이후에도 남용 가능하게 활용될 수 있음
• 간단한 baseline(sortnregress)는 원 데이터에서 연속적 방법과 일치하며 벤치마크에서 varsortability를 진단하는 도구로 작동
• 실세계 데이터(protein signaling Sachs et al.)는 varsortability가 더 낮고 위에서 기술한 성능 이점의 일관된 패턴이 관찰되지 않음