[논문 리뷰] DoWhy: Addressing Challenges in Expressing and Validating Causal Assumptions

Amit Sharma, Vasilis Syrgkanis외 2명|arXiv (Cornell University)|2021. 08. 27.

Advanced Causal Inference Techniques참고 문헌 41인용 수 19

한 줄 요약

DoWhy는 인과적 가정을 인과 그래프를 통해 체계적으로 표현하고 추정 이전에 그 타당성을 평가할 수 있는 검증 테스트를 제공함으로써, 추정 이전에 모델링 가정을 검증하는 데 있어 핵심적인 격차를 메우는 인과 추론 프레임워크이다. 이는 가정 표현, 식별, 추정, 검증을 체계적인 파ipeline로 통합함으로써 투명하고 감사 가능한 인과 분석을 가능하게 하여, 관측되지 않은 혼동요인이나 잘못된 모델 구조로 인해 결과에 심각한 편향이 발생할 수 있는 실세계 응용에서의 신뢰성을 향상시킨다.

ABSTRACT

Estimation of causal effects involves crucial assumptions about the data-generating process, such as directionality of effect, presence of instrumental variables or mediators, and whether all relevant confounders are observed. Violation of any of these assumptions leads to significant error in the effect estimate. However, unlike cross-validation for predictive models, there is no global validator method for a causal estimate. As a result, expressing different causal assumptions formally and validating them (to the extent possible) becomes critical for any analysis. We present DoWhy, a framework that allows explicit declaration of assumptions through a causal graph and provides multiple validation tests to check a subset of these assumptions. Our experience with DoWhy highlights a number of open questions for future research: developing new ways beyond causal graphs to express assumptions, the role of causal discovery in learning relevant parts of the graph, and developing validation tests that can better detect errors, both for average and conditional treatment effects. DoWhy is available at https://github.com/microsoft/dowhy.

연구 동기 및 목표

• 실세계 인과 추론에서 인과적 가정을 표현하고 검증하기 위한 체계적 방법의 부족을 해결하기 위해.
• 효과 추정에서 관측되지 않은 혼동요인, 잘못된 혼동요인/표지자 할당, 모델 오Specification으로 인한 편향을 줄이기 위해.
• 가정 명시와 추정을 분리하는 체계적이고 감사 가능한 파이프라인을 제공하기 위해.
• 추정 이전에 가정을 검증함으로써 인과 추정의 신뢰성을 향상시키기 위해.
• 가정 도출, 인과 발견 통합, 강력한 검증 테스트 분야의 열린 연구 과제를 규명하기 위해.

제안 방법

• 치료, 결과, 혼동요인, 중재자, 도구 등을 포함한 가정에 대해 인과 그래프(DAG)를 주요 형식으로 사용한다.
• 사용자 인터페이스를 통한 네 단계 API를 구현: 모델(인과 그래프 정의), 식별(추정량 유도), 추정(추정기 적용), 검증(재현 및 민감도 분석을 통한 가정 검증).
• 모델 오Specification과 추정기 편향을 탐지하기 위해 가짜 간섭(예: 위약 간섭, 치료 대체)과 같은 재현 테스트를 구현한다.
• 관측되지 않은 혼동요인의 영향을 정량화하기 위해 민감도 분 析를 적용한다.
• 다양한 추정기(예: IPW, 회귀, TMLE)를 지원하며, 다양한 인과 모델과 식별 전략 간 비교를 가능하게 한다.
• 인과 발견 알고리즘과 통합되어 데이터에서 부분적인 그래프를 유추할 수 있으며, 도메인 전문가가 반복적으로 수정하고 보완할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 인과적 가정을 인과 그래프를 통해 명시적이고 체계적으로 표현하여 감사 가능성과 재현 가능성을 높일 수 있는가?
• RQ2 오염된 혼동요인 선택이나 관측되지 않은 혼동요인과 같은 모델링 가정 오류를 탐지하는 데 가장 효과적인 검증 테스트는 무엇인가?
• RQ3 인과 발견 알고리즘은 어떻게 인과 추론 파이프라인에 의미 있게 통합될 수 있으며, 가정 도출을 지원할 수 있는가?
• RQ4 도메인 전문가는 부분적으로 발견된 인과 그래프를 어떻게 개선할 수 있으며, 시스템은 이러한 상호작용을 어떻게 지원할 수 있는가?
• RQ5 검증 테스트는 기계 학습의 스트레스 테스트처럼 추정기 선택을 안내하고 강건성을 향상시킬 수 있도록 설계될 수 있는가?

주요 결과

• DoWhy 프레임워크는 인과 그래프를 통한 명시적이고 체계적인 인과적 가정 표현을 가능하게 하여, 인과 분석의 투명성과 감사 가능성에 크게 기여한다.
• 위약 치료나 치료 대체와 같은 재현 테스트는 표준 신뢰구간이 유효해 보일지라도, 모델 오Specification과 추정기 편향을 탐지할 수 있다.
• 민감도 분석은 관측되지 않은 혼동요인이 추정치에 심각한 편향을 줄 수 있음을 드러내며, 혼동요인의 방향성 또는 강도에 대한 가정이 있을 경우 이 편향의 크기를 정량화할 수 있다.
• 이 프레임워크는 이론적으로 강력한 추정 방법이라도 기반 인과 모델이 잘못되어 있으면 오해의 소지가 있는 결과를 낼 수 있음을 보여주며, 추정 이전 검증의 필요성을 강조한다.
• 검증 결과는 데이터셋 간에 다양하게 나타나며, 여러 관측 데이터셋 중 하나에서만 재현 테스트에 실패하는 것은 데이터 품질이나 모델 가정에 대한 우려를 제기하므로, 신중한 해석이 필요하다.
• 인과 발견과 인과 추론의 통합은 여전히 신뢰성과 마르코프 조건과 같은 검증 불가능한 가정으로 인해 제한되어 있으며, 발견 단계의 오류는 추론 단계로 퍼져나올 수 있으므로 전문가가 개입하는 개선 과정이 필수적이다.