[논문 리뷰] Evaluating Causal Models by Comparing Interventional Distributions

Dan Garant, David Jensen|arXiv (Cornell University)|2016. 08. 16.

Bayesian Modeling and Causal Inference참고 문헌 19인용 수 7

한 줄 요약

이 논문은 인과 모델 평가를 구조적 유사도(예: SHD, SID)가 아닌, 총변동(TV) 거리로 측정된 간섭 분포 간 비교를 통해 수행할 것을 제안한다. 이는 구조적 측정치가 모델 품질 평가에서 종종 오도할 수 있으며, TV 거리가 더 잘 parametric 정확도를 반영하고 실제 인과 추론 목표와 더 잘 부합함을 보여준다. 특히 복잡하고 현실적인 데이터 환경에서 그러한 경향이 두드러진다.

ABSTRACT

The predominant method for evaluating the quality of causal models is to measure the graphical accuracy of the learned model structure. We present an alternative method for evaluating causal models that directly measures the accuracy of estimated interventional distributions. We contrast such distributional measures with structural measures, such as structural Hamming distance and structural intervention distance, showing that structural measures often correspond poorly to the accuracy of estimated interventional distributions. We use a number of real and synthetic datasets to illustrate various scenarios in which structural measures provide misleading results with respect to algorithm selection and parameter tuning, and we recommend that distributional measures become the new standard for evaluating causal models.

연구 동기 및 목표

• 인과 모델 평가에서 구조적 허밍 거리(SHD) 및 구조적 간섭 거리(SID)와 같은 구조적 측정치의 지배적 지위에 도전하기 위해.
• 구조적 측정치가 종종 추정된 간섭 분포의 진정한 정확도를 반영하지 못함을 보여주기 위해.
• 인과 발견 알고리즘 평가에 있어 더 신뢰할 수 있고 응용과 부합하는 메트릭으로 총변동(TV) 거리를 정립하기 위해.
• 합성 데이터셋의 현실성과 도전도를 높이는 데 기여하는 핵심 성질—예: 네트워크 밀도, 종속 강도, 복잡한 기능적 관계—를 규명하기 위해.
• 일반적으로 사용되는 합성 데이터셋이 실제 세계의 데이터보다 훨씬 덜 도전적이며, 이는 표준 평가 프로토콜의 타당성을 훼손한다는 것을 보여주기 위해.

제안 방법

• 인과 모델 평가의 주요 메트릭으로 간섭 분포 간 총변동(TV) 거리를 제안한다.
• 학습된 DAG에서 추정된 간섭 분포와 진정한 간섭 분포 간의 TV 거리를 비교하여 평가한다.
• 실제 데이터셋(Postgres, JDK, HTTP)과 합성 데이터셋(디리클레, 선형-정규, 로지스틱)을 사용하여 다양한 구조적 및 파rametric 조건 하에서 모델 성능을 평가한다.
• 실제 세계의 곤경을 더 잘 반영하기 위해 합성 데이터 생성 과정을 조정하여 네트워크 밀도, 종속 강도, 기능 복잡도(예: 디리클레 모델에서의 다항 조건부 확률표)를 증가시킨다.
• 실제 데이터셋과 합성 데이터셋 간의 TV 거리 차이에 대한 통계적 유의성을 평가하기 위해 투키의 HSD 검정을 적용한다.
• TV를 황금 표준으로 삼아 알고리즘 성능을 다양한 데이터셋에서 비교함으로써, SHD나 SID에 의존할 경우 일관성 없는 결과가 드러남을 보여준다.

실험 결과

연구 질문

• RQ1 SHD 및 SID와 같은 구조적 측정치는 추정된 간섭 분포의 정확도를 얼마나 잘 예측하는가?
• RQ2 구조적 측정치는 실제 세계 및 합성 환경에서 인과 모델의 진정한 품질을 어떻게 반영하지 못하는가?
• RQ3 일반적으로 사용되는 합성 데이터셋은 실제 세계의 인과 발견 과제의 곤경을 어느 정도 과소평가하는가?
• RQ4 네트워크 밀도, 종속 강도, 기능 복잡도 등의 데이터 생성 성질 중 어떤 것이 인과 모델 학습의 곤경에 가장 크게 기여하는가?
• RQ5 TV 거리는 인과 발견 알고리즘 평가에 있어 구조적 측정치보다 더 신뢰할 수 있고 실용적인 메트릭으로 기능할 수 있는가?

주요 결과

• SHD 및 SID와 같은 구조적 측정치는 과도한 특정화에 대해 일관되지 않게 처벌하고, 파rametric 품질을 고려하지 않기 때문에 연구자들을 오도할 수 있다.
• 특히 종속 강도가 변할 경우, TV 거리는 SHD나 SID보다 추정된 간섭 분포의 실제 정확도와 더 강하게 상관된다.
• 실제 세계 데이터셋인 Postgres는 합성 데이터셋보다 훨씬 곤경스럽다. 평균 TV 거리의 차이가 최대 1.17에 이르며(p < 0.05, 투키 검정), 이는 유의미한 차이를 보인다.
• 선형 또는 로지스틱 종속성만 포함된 합성 데이터셋은 실제 데이터보다 훨씬 쉽게 간주되며, 이는 평가의 현실성에 격차가 있음을 시사한다.
• 치료 노드의 아웃-degree를 3~5로 증가시키고, 복잡한 조건부 확률 표(예: 디리클레 모델)를 사용하면 실제 데이터만큼 도전적인 합성 데이터셋을 생성할 수 있다.
• 높은 종속 강도와 degree 5를 가진 디리클레 기반 합성 모델은 Postgres와 비교해 -0.93의 TV 차이를 보였으며, 이는 유사하거나 더 곤경스러운 곤경을 반영함을 의미한다.