[논문 리뷰] Comparative Benchmarking of Causal Discovery Techniques

Karamjit Singh, Garima Gupta외 2명|arXiv (Cornell University)|2017. 08. 18.

Bayesian Modeling and Causal Inference참고 문헌 31인용 수 10

한 줄 요약

이 논문은 크기의 다양성과 실재 및 시뮬레이션 데이터셋을 사용하여 구조 정확도, 예측 정확도, 반사적 추론 정확도의 세 가지 성능 차원에서 인과적 발견 알고리즘에 대한 종합적인 벤치마크를 제시한다. 구조 정확도가 항상 추론 성능을 예측하지 못하며, 특히 선형-가우시안 데이터셋에서 PC 알고리즘이 다른 알고리즘보다 뛰어나다는 것을 발견했고, GES는 구조 학습이 열악함에도 불구하고 예측 정확도에서 뛰어나다.

ABSTRACT

In this paper we present a comprehensive view of prominent causal discovery algorithms, categorized into two main categories (1) assuming acyclic and no latent variables, and (2) allowing both cycles and latent variables, along with experimental results comparing them from three perspectives: (a) structural accuracy, (b) standard predictive accuracy, and (c) accuracy of counterfactual inference. For (b) and (c) we train causal Bayesian networks with structures as predicted by each causal discovery technique to carry out counterfactual or standard predictive inference. We compare causal algorithms on two pub- licly available and one simulated datasets having different sample sizes: small, medium and large. Experiments show that structural accuracy of a technique does not necessarily correlate with higher accuracy of inferencing tasks. Fur- ther, surveyed structure learning algorithms do not perform well in terms of structural accuracy in case of datasets having large number of variables.

연구 동기 및 목표

• 다양한 성능 지표를 통해 최신 인과적 발견 알고리즘을 평가하고 비교하는 것.
• 구조 정확도와 추론 성능(예측 및 반사적 추론) 간의 관계를 조사하는 것.
• 데이터 유형(관찰, 간섭, 주도 학습)과 데이터셋 크기가 알고리즘 성능에 미치는 영향을 평가하는 것.
• 특히 고차원 설정에서 어떤 알고리즘이 가장 효과적인지 특정하는 것.
• 기존 방법이 큰 네트워크의 인과적 구조를 학습하는 데에서 보이는 한계를 평가하는 것.

제안 방법

• 인과적 발견 알고리즘을 두 가지 주요 그룹으로 분류: 순환/잠재변수 허용하지 않는 것과 순환/잠재변수 허용하는 것.
• 알고리즘을 세 가지 하위 범주로 분류: 관찰 전용, 관찰+간섭, 주도 학습.
• 작은, 중간, 큰 표본 크기를 포함하는 세 가지 데이터셋—두 개의 실재 데이터셋과 하나의 시뮬레이션 데이터셋—에 알고리즘을 적용.
• 세 가지 지표를 사용해 성능 평가: 구조적 해밍 거리(SHD), 구조적 간섭 거리(SID), F-점수, AUC, 정규화된 평균 제곱근 오차(NRMSE).
• 학습된 구조를 기반으로 인과 베이지안 네트워크를 학습하여 예측 및 반사적 추론 정확도 평가.
• 모든 지표에서 동일한 조건 하에 알고리즘을 비교할 수 있도록 통합된 실험 프레임워크를 사용.

실험 결과

연구 질문

• RQ1 인과적 발견에서 높은 구조 정확도가 예측 또는 반사적 추론 성능을 향상시키는가?
• RQ2 다양한 데이터셋 크기에서 관찰 전용, 간섭 지원, 주도 학습 알고리즘이 추론 정확도 측면에서 어떻게 비교되는가?
• RQ3 큰 고차원 데이터셋에서 구조 정확도, 예측 정확도, 반사적 정확도 측면에서 어떤 알고리즘이 가장 우수한가?
• RQ4 기존 인과적 발견 방법이 변수 수가 많은 데이터셋에 적용되었을 때 얼마나 실패하는가?
• RQ5 기본 데이터 생성 모델(예: 선형-가우시안)이 알고리즘 성능에 어떤 영향을 미치는가?

주요 결과

• PC 알고리즘이 큰 선형-가우시안 데이터셋에서 모든 성능 지표에서 다른 알고리즘을 압도하며, 특히 구조 정확도와 추론 정확도에서 뛰어나다.
• 작은 데이터셋에서는 주도 학습 기반 알고리즘이 가장 높은 AUC와 F-점수를 기록했고, MMHC와 PC는 SHD와 SID에서 최고 성능을 보였다.
• GES는 과적합으로 인해 구조 정확도가 열악하지만 예측 정확도는 가장 높아, 구조와 추론 품질 간의 단절을 보여준다.
• 관찰 및 간섭 데이터를 모두 사용하는 알고리즘(GIES 등)은 관찰 데이터만 사용하는 알고리즘(GES 등)보다 성능이 뛰어나며, 특히 중간 및 큰 데이터셋에서 두드러진다.
• 현재의 최신 알고리즘 중 어느 것도 변수 수가 많은 데이터셋에서 인과적 구조를 성공적으로 파악하지 못하며, 이는 현재 방법의 핵심적 한계를 드러낸다.
• 구조 정확도가 추론 성능의 신뢰할 수 있는 예측자로 기능하지 않음: 낮은 SHD/SID를 가진 알고리즘이 예측 및 반사적 정확도가 높을 수 있음.