[논문 리뷰] Benchmarking Framework for Performance-Evaluation of Causal Inference Analysis

Yishai Shimoni, Chen Yanover외 2명|arXiv (Cornell University)|2018. 02. 14.

Advanced Causal Inference Techniques참고 문헌 9인용 수 23

한 줄 요약

이 논문은 실생활 건강 데이터를 기반으로 한 시뮬레이션 데이터를 사용하여 인과적 추론 알고리즘을 표준화된 방식으로 평가할 수 있도록 해주는 오픈소스 플랫폼인 IBM 인과적 추론 벤치마킹 프레임워크를 소개한다. 이 프레임워크는 레이블이 부여된 반대 조건 결과, 확장성 테스트를 위한 다양한 데이터 서브셋, 그리고 케이싱 시나리오를 제공하며, 다양한 데이터 조건에서 정확도, 정밀도, 내구성 등을 평가하기 위한 종합적인 메트릭스를 포함한다.

ABSTRACT

Causal inference analysis is the estimation of the effects of actions on outcomes. In the context of healthcare data this means estimating the outcome of counter-factual treatments (i.e. including treatments that were not observed) on a patient's outcome. Compared to classic machine learning methods, evaluation and validation of causal inference analysis is more challenging because ground truth data of counter-factual outcome can never be obtained in any real-world scenario. Here, we present a comprehensive framework for benchmarking algorithms that estimate causal effect. The framework includes unlabeled data for prediction, labeled data for validation, and code for automatic evaluation of algorithm predictions using both established and novel metrics. The data is based on real-world covariates, and the treatment assignments and outcomes are based on simulations, which provides the basis for validation. In this framework we address two questions: one of scaling, and the other of data-censoring. The framework is available as open source code at https://github.com/IBM-HRL-MLHLS/IBM-Causal-Inference-Benchmarking-Framework

연구 동기 및 목표

• 관찰 기반 의료 데이터에서 인과적 추론 방법을 평가하기 위한 표준화된 벤치마크의 부족을 해결하기 위해.
• 통합된 데이터 세트와 평가 파이프라인을 사용하여 인과적 추론 알고리즘 간의 공정하고 재현 가능한 비교를 가능하게 하기 위해.
• 데이터 크기(확장성)와 정보적 케이싱 조건 하에서 알고리즘 성능가 어떻게 변화하는지 조사하기 위해.
• 오픈소스 코드와 확장 가능한 메트릭스를 통해 공동체 기반 플랫폼을 제공하여 인과적 추론 방법의 평가 및 향상 지원하기 위해.
• 실생활 의료 응용 분야에서 더 강력하고 신뢰할 수 있는 인과 효과 추정 개발을 지원하기 위해.

제안 방법

• 프레임워크는 실존하는 연관 데이터에서 유래한 진짜 공변량을 기반으로 시뮬레이션 기반 접근 방식을 사용해 합성 치료 할당 및 반대 조건 결과를 생성한다.
• 인과 그래프는 구성 가능한 파rameter(공변량 수, 혼동 정도, 비선형성, 치료 유병률 등)를 가진 랜덤하게 생성된다.
• 치료 할당, 결과, 케이싱은 통합된 과정에서 시뮬레이션된다: 먼저 반대 조건 결과와 케이싱을 계산한 후, 치료 및 케이싱 상태에 따라 사실적 결과가 선택된다.
• 확장성과 데이터 볼륨에 따른 성능 평가를 위해 크기가 다른 여러 데이터 서브셋(1,000~50,000건)이 포함되어 있다.
• 주요 평가 트랙 두 가지를 지원한다: 하나는 데이터 세트 크기를 변화시켜 확장성 평가하는 트랙, 다른 하나는 공변량 기반으로 시뮬레이션된 결측 결과를 포함하는 케이싱 평가 트랙.
• ENoRMSE, RMSE, Bias, Coverage, CIC, ENCIS 등의 메트릭스를 사용하여 정확도와 정밀도를 평가하며, 가중합과 제곱평균을 사용해 집계 점수를 계산한다.

실험 결과

연구 질문

• RQ1 다양한 데이터 크기에서 인과적 추론 알고리즘이 어떻게 작동하는가? 정확도 및 계산 비용 측면에서 확장성은 어떠한가?
• RQ2 결측이 공변량에 따라 비랜덤하게 발생하는 정보적 케이싱 상황에서 알고리즘은 어떻게 대처하는가?
• RQ3 정확도, 정밀도, 내구성 간의 상호 보완적 특성을 가장 잘 반영하는 메트릭스는 무엇인가?
• RQ4 비선형성과 혼동 정도의 수준이 다를 경우 알고리즘의 성능와 안정성은 어떻게 변하는가?
• RQ5 통합된 벤치마킹 프레임워크는 인과적 추론 연구 분야에서 재현 가능성 향상과 공동체 차원의 진전을 어떻게 지원할 수 있는가?

주요 결과

• 프레임워크는 실생활 공변량과 시뮬레이션된 반대 조건 결과를 사용하여 인과적 추론 알고리즘의 표준화되고 재현 가능한 평가를 가능하게 한다.
• ENoRMSE 및 ENCIS와 같은 성능 메트릭스는 알고리즘의 정확도와 정밀도가 데이터 크기와 케이싱 수준에 따라 크게 달라짐을 보여준다.
• 집계 점수 방법은 더 큰 데이터 세트가 전체 성능 점수에 비례하여 기여하도록 보장하여 실생활 데이터의 유용성을 반영한다.
• 케이싱 시나리오의 통합은 일부 방법이 비랜덤한 결측 상황에서 성능이著적으로 떨어지는 것을 드러내며, 내구성 테스트의 필요성을 강조한다.
• 프레임워크는 정확도와 정밀도 평가를 모두 지원하며, Coverage 및 CIC와 같은 메트릭스는 간격 신뢰도와 불확실성 추정에 대한 통찰을 제공한다.
• 프레임워크의 오픈소스 성격은 공동체 기여를 장려하며, 새로운 데이터 세트와 평가 메트릭스의 추가를 통해 장기적인 확장성을 향상시킨다.