[논문 리뷰] Causal-BALD: Deep Bayesian Active Learning of Outcomes to Infer Treatment-Effects from Observational Data

Andrew Jesson, Panagiotis Tigas외 4명|arXiv (Cornell University)|2021. 11. 03.

Machine Learning and Algorithms참고 문헌 45인용 수 8

한 줄 요약

Causal-BALD는 관찰 데이터에서 치료 효과 추정을 위한 결과를 선택하는 데 있어 치료군과 대조군 간에 겹치는 지원 영역을 우선시함으로써 표본 효율성을 향상시키는 딥 베이지안 주도 학습 프레임워크를 제안한다. 이는 정보 이론적 확보 기능을 사용하여 식별이 불가능한 영역을 피함으로써 기준 방법보다 우수한 성능을 보이며, IHDP 및 CMNIST와 같은 시뮬레이션 및 반시뮬레이션 데이터셋에서 검증된다.

ABSTRACT

Estimating personalized treatment effects from high-dimensional observational data is essential in situations where experimental designs are infeasible, unethical, or expensive. Existing approaches rely on fitting deep models on outcomes observed for treated and control populations. However, when measuring individual outcomes is costly, as is the case of a tumor biopsy, a sample-efficient strategy for acquiring each result is required. Deep Bayesian active learning provides a framework for efficient data acquisition by selecting points with high uncertainty. However, existing methods bias training data acquisition towards regions of non-overlapping support between the treated and control populations. These are not sample-efficient because the treatment effect is not identifiable in such regions. We introduce causal, Bayesian acquisition functions grounded in information theory that bias data acquisition towards regions with overlapping support to maximize sample efficiency for learning personalized treatment effects. We demonstrate the performance of the proposed acquisition strategies on synthetic and semi-synthetic datasets IHDP and CMNIST and their extensions, which aim to simulate common dataset biases and pathologies.

연구 동기 및 목표

• 기존 주도 학습 방법이 치료 효과가 식별 불가능한 저중복 영역을 목표로 하여 관찰적 인과 추론에서 효율성이 떨어지는 문제를 해결하기 위해.
• 높은 불확실성과 동시에 치료군과 대조군 간에 충분한 겹침이 있는 데이터 포인트를 우선시하여 치료 효과의 식별 가능성을 보장하는 확보 기능을 개발하기 위해.
• 결과 측정이 비용이 많이 드는 상황에서 개인화된 치료 효과 추정을 위한 딥 베이지안 모델의 표본 효율성을 향상시키기 위해.
• 특히 겹침 가정을 고려한 인과 식별 조건과 일치하는 확보 전략을 통해 주도 학습에서의 데이터 분포 편향을 완화하기 위해.

제안 방법

• 이 방법은 정보 이론에 기반한 인과 베이지안 확보 기능을 도입하여, 특히 치료군과 대조군 간에 겹치는 지원 조건을 고려한 모델 파라미터와 결과 간 상호정보량을 최대화한다.
• 불확실성 추정과 예측 분산 모델링을 위해 몬테카를로 드롭아웃을 적용한 딥 베이지안 신경망을 활용한다.
• 확보 기능은 BALD(Bayesian Active Learning by Disagreement) 원리를 기반으로 하지만, 치료군과 대조군 모두 존재하는 영역을 우선시하도록 적응하여 식별 가능성을 보장한다.
• 프레임워크는 사전 학습된 모델을 사용하여 불확실성을 추정하고 가장 정보성 있는 샘플을 선별하여 결과를 확보하며, 반복적으로 치료 효과 추정치를 개선한다.
• 학습 안정성 향상과 불확실성 校정을 위해 잔차 구조에 스펙트럴 정규화와 배치 정규화를 통합한다.
• 이 방법은 제어된 편향을 가진 시뮬레이션, IHDP, CMNIST 데이터셋에서 평가되었으며, 선택 편향 및 비중복 지원과 같은 실제 데이터 병리 현상을 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 치료군과 대조군 간에 겹치는 지원 영역을 중심으로 집중함으로써 주도 학습을 통해 치료 효과 추정의 표본 효율성을 높일 수 있는가?
• RQ2 겹침을 우선시하는 정보 이론적 확보 기능은 표준 BALD와 비교해 치료 효과 추정 정확도에서 어떻게 다른가?
• RQ3 확보 전략을 겹치는 영역으로 편향함으로써 치료 효과를 추정할 수 없는 식별 불가능한 영역에서 결과를 확보할 위험을 어느 정도 줄일 수 있는가?
• RQ4 선택 편향 및 공변수 분포의 비중복성과 같은 일반적인 데이터 병리 상황에서도 제안된 Causal-BALD 방법이 성능을 유지하는가?
• RQ5 저데이터 환경에서 랜덤 및 불확실성 기반 확보 전략과 비교해 이 방법은 어떻게 성능을 발휘하는가?

주요 결과

• Causal-BALD는 치료군과 대조군 간 겹침 영역에 집중함으로써 치료 효과 추정의 표본 효율성을 크게 향상시켰으며, 필요한 레이블된 결과 수를 줄였다.
• IHDP 데이터셋에서 Causal-BALD는 특히 저예산 설정에서 기준 주도 학습 방법보다 더 낮은 평균제곱오차(MSE)를 기록하였다.
• 선택 편향 및 비중복성 등의 데이터 병리에 대해 강건성을 보였으며, 표준 주도 학습이 실패하는 상황에서도 안정적인 성능을 유지하였다.
• 반시뮬레이션 CMNIST 실험에서 Causal-BALD는 추정 정확도와 수렴 속도 측면에서 불확실성 기반 및 랜덤 확보 전략을 모두 초월하였다.
• 인과 식별 가능성을 기반으로 한 정보 이론적 확보 기능의 사용은 다양한 데이터 분포에서 더 신뢰할 수 있고 일반화 가능한 치료 효과 추정치를 도출하는 데 기여하였다.