[논문 리뷰] The Case for Evaluating Causal Models Using Interventional Measures and Empirical Data

Amanda Gentzel, Dan Garant외 1명|arXiv (Cornell University)|2019. 10. 11.

Explainable Artificial Intelligence (XAI)인용 수 19

한 줄 요약

이 논문은 인과 추론 알고리즘 평가에 대해 실세계의 실증 데이터와 간섭 측정치를 사용하는 것을 주장하며, 합성 데이터와 구조적/관찰적 지표에 의존하는 것과는 반대로 한다. 최근 문헌을 대상으로 한 조사에서 이러한 평가 방식은 드물지만, 실세계 적용 가능성과 일반화 능력을 평가하는 데 필수적이며 실현 가능하다고 밝히며, 기존 방법과 대비해 상당한 성능 차이가 있음을 보여준다.

ABSTRACT

Causal inference is central to many areas of artificial intelligence, including complex reasoning, planning, knowledge-base construction, robotics, explanation, and fairness. An active community of researchers develops and enhances algorithms that learn causal models from data, and this work has produced a series of impressive technical advances. However, evaluation techniques for causal modeling algorithms have remained somewhat primitive, limiting what we can learn from experimental studies of algorithm performance, constraining the types of algorithms and model representations that researchers consider, and creating a gap between theory and practice. We argue for more frequent use of evaluation techniques that examine interventional measures rather than structural or observational measures, and that evaluate those measures on empirical data rather than synthetic data. We survey the current practice in evaluation and show that the techniques we recommend are rarely used in practice. We show that such techniques are feasible and that data sets are available to conduct such evaluations. We also show that these techniques produce substantially different results than using structural measures and synthetic data.

연구 동기 및 목표

• 인과 모델링 알고리즘 평가 관행의 격차를 해결하기 위해, 합성 데이터와 구조적 측정치에 의존하는 것보다 실세계 간섭 데이터를 사용하는 평가를 촉진하기 위함.
• 현재 평가 기법이 알고리즘이 실세계 시스템으로 일반화되는지 또는 간섭 효과를 정확히 추정하는지를 평가하지 못함을 주장하기 위함.
• 실증 데이터 기반 간섭 평가가 실현 가능하며, 기존 평가 방법과 비교해 상당히 다른 결과를 도출할 수 있음을 입증하기 위함.
• 연구 공동체가 간섭 측정치와 실증 데이터를 알고리즘 평가의 표준 구성 요소로 일상적으로 채택하도록 장려하기 위함.
• 더 넓고 신뢰할 수 있는 인과 모델 평가를 가능하게 하기 위해 간섭 효과가 알려진 데이터셋을 만들고 공유할 것을 촉진하기 위함.

제안 방법

• 저자는 평가를 데이터 소스, 알고리즘, 평가 측정치의 세 구성 요소로 분해하여 평가 관행의 모듈식 분석을 가능하게 한다.
• 최근의 주요 AI/ML 컨fer런스 논문 111편을 대상으로 평가 기법의 사용 빈도를 수량화하기 위해 조사를 실시하였으며, 데이터 소스, 알고리즘 유형, 평가 측정치에 중점을 두었다.
• 실제 데이터에서 측정된 간섭 효과를 기준으로, 추정된 간섭 분포와 실제 간섭 효과를 비교하기 위해 총 변화 거리(Total Variation Distance, TVD)를 사용하여 인과 모델을 평가한다.
• 실증 데이터의 경우, 각 쿼리에 대해 다른 치료 조건(T=0 및 T=1)에서의 결과를 측정하여 간섭 시뮬레이션을 수행함으로써 진정된 P(O|do(T=t))를 추정한다.
• 파라미터화된 인과 모델에 대해 do-계산법을 적용하여 비교를 위한 추정 간섭 분포 P̂(O|do(T=t))를 생성한다.
• 평가 프레임워크는 TVD를 간섭 측정치로 사용한다: TVD = 1/2 * Σ|P(O=o|do(T=t)) - P̂(O=o|do(T=t))|로, 모델 정확도에 대한 수치적 평가를 제공한다.

실험 결과

연구 질문

• RQ1 현재 인과 모델링 알고리즘 평가에서 간섭 측정치와 실증 데이터는 얼마나 자주 사용되는가?
• RQ2 합성 데이터와 구조적/관찰적 측정치에 의존할 경우 인과 모델 평가의 한계는 무엇인가?
• RQ3 실세계 데이터 기반 간섭 평가가 기존 평가 방법과 비교해 상당히 다른 성능 순위를 도출할 수 있는가?
• RQ4 현재 평가 관행이 인과 추론 알고리즘의 실세계 적용 및 신뢰성 향상에 얼마나 막다른가?
• RQ5 실제 간섭 효과가 알려진 데이터셋을 만들고 공유하는 데 있어 실용적 과제와 실현 가능성은 무엇인가?

주요 결과

• 평가 대상 91편 중 단 6편(6.6%)만 실증 데이터 기반 간섭 측정치를 사용하여, 가장 관련 있는 평가 기법이 널리 사용되지 않는다는 것을 보여준다.
• 총 11편의 논문(91편 중 12.1%)이 간섭 측정치를 사용했지만, 그 중 6편만 실증 데이터를 사용하여, 실데이터 기반 간섭 평가가 매우 드물다는 점을 확인한다.
• 조사 결과, 82%의 논문이 인과 모델을 평가했지만 대부분 합성 데이터와 구조적 측정치에 의존하여 외부 타당성이 제한됨을 보여준다.
• TVD를 사용한 실증 간섭 평가에서 GES가 소프트웨어 데이터셋에서 가장 우수한 성능을 보였으며, 이는 합성 또는 관찰적 지표만을 사용할 경우 발견되지 않았을 결과일 수 있다.
• 실증 데이터 기반 간섭 측정치 평가가 기존 방법과 비교해 상당히 다른 성능 순위를 도출함을 입증하여, 현재 평가 관행으로 인해 오해의 소지가 있는 결론을 이끌 수 있음을 시사한다.
• 저자는 현재 평가 기법이 실세계 적용 가능성을 평가하는 데 부족하며, 실증 간섭 데이터를 평가에 포함하는 것이 신뢰성 향상과 광범위한 채택을 위해 필수적이라고 결론 내린다.