[논문 리뷰] NCoRE: Neural Counterfactual Representation Learning for Combinations of Treatments

Sonali Parbhoo, Stefan Bauer외 1명|arXiv (Cornell University)|2021. 03. 20.

Advanced Causal Inference Techniques참고 문헌 40인용 수 5

한 줄 요약

NCoRE는 다수의 동시 치료가 존재하는 환경에서 인과적 추론을 위한 새로운 신경망 프레임워크로, 분기된 조건부 표현 내에서 학습 가능한 치료 상호작용 조절자를 사용하여 치료 간 상호작용을 모델링한다. 학습 데이터에서 관측되지 않은 치료 조합이 많아질수록 성능이 뛰어나며, 합성, 반합성, 실제 세계 벤치마크에서 최신 기술을 크게 능가한다.

ABSTRACT

Estimating an individual's potential response to interventions from observational data is of high practical relevance for many domains, such as healthcare, public policy or economics. In this setting, it is often the case that combinations of interventions may be applied simultaneously, for example, multiple prescriptions in healthcare or different fiscal and monetary measures in economics. However, existing methods for counterfactual inference are limited to settings in which actions are not used simultaneously. Here, we present Neural Counterfactual Relation Estimation (NCoRE), a new method for learning counterfactual representations in the combination treatment setting that explicitly models cross-treatment interactions. NCoRE is based on a novel branched conditional neural representation that includes learnt treatment interaction modulators to infer the potential causal generative process underlying the combination of multiple treatments. Our experiments show that NCoRE significantly outperforms existing state-of-the-art methods for counterfactual treatment effect estimation that do not account for the effects of combining multiple treatments across several synthetic, semi-synthetic and real-world benchmarks.

연구 동기 및 목표

• 여러 치료가 동시에 적용될 때 치료 효과를 추정하는 문제를 다루기 위해, 인과 추론 분야에서 흔하지만 아직 탐색되지 않은 설정을 해결하고자 한다.
• 관측 데이터에서 가능한 치료 조합의 조합 폭발 문제를 해결하기 위해, 특히 많은 조합이 관측되지 않은 경우에 대비하고자 한다.
• 새로운 조합에 일반화할 수 있도록 교차 치료 상호작용을 포괄하는 확장성 있고 표현력 있는 모델을 개발하고자 한다.
• 기존의 인과적 추론 방법을 단일 또는 순차적 치료에서 다중 동시 치료 설정으로 확장하고자 한다.
• 고차원 및 편향된 관측 데이터를 포함한 다양한 데이터 환경에서 성능 향상과 강건성을 입증하고자 한다.

제안 방법

• NCoRE는 공유 및 치료별 고유의 하위망을 포함한 분기된 조건부 신경망 표현을 사용하여 개별 치료 효과를 모델링한다.
• 치료 조합이 결과에 미치는 영향을 명시적으로 모델링하기 위해 학습 가능한 치료 상호작용 조절자를 도입한다.
• 예측 가능한 치료 조합에 대해 인과적 예측을 가능하게 하기 위해 공변수와 치료 집합을 조건으로 하는 조건부 표현을 사용한다.
• 상호작용 하위망은 치료 쌍 간에 파라미터를 공유하여 지식 전이와 더 나은 샘플 효율성을 달성한다.
• 인과적 예측을 위한 표현 품질 향상을 위해 대비 학습 목표를 사용하여 엔드 투 엔드로 모델을 훈련한다.
• 학습된 상호작용 패턴을 활용하여 드문 또는 관측되지 않은 치료 조합으로의 외삽을 지원한다.

실험 결과

연구 질문

• RQ1 학습 데이터에서 많은 치료 조합이 관측되지 않은 상황에서 신경망 모델이 동시 치료 조합에 대한 인과적 표현을 효과적으로 학습할 수 있는가?
• RQ2 치료를 독립적으로 다루는 방법과 비교해 명시적인 치료 상호작용을 모델링함으로써 성능 향상이 어떻게 이루어지는가?
• RQ3 치료 수가 증가하고 샘플 수가 감소할수록 NCoRE의 확장성은 어떻게 되는가?
• RQ4 관측 데이터에서 치료 배정 편향이 존재할 경우 NCoRE는 얼마나 강건한가?
• RQ5 다양한 유전자 동시 노크아웃 실험과 같이 관측되지 않은 치료 조합으로 일반화할 수 있는가?

주요 결과

• NCoRE는 합성, 반합성, 실제 세계 모든 벤치마크에서 최신 기술 기반 모델인 Deconfounder 및 기타 SOTA 방법을 크게 능가한다.
• 시뮬레이션 데이터셋에서 NCoRE는 모든 치료 수에서 가장 낮은 RMSE를 유지하며, 치료 수가 증가할수록 성능 격차가 더욱 커진다.
• NCoRE는 더 적은 훈련 샘플로도 낮은 RMSE를 달성하여 공유된 상호작용 모델링 덕분에 뛰어난 샘플 효율성을 보여준다.
• NCoRE는 κ ∈ [5, 20] 범위의 다양한 치료 배정 편향 수준에서 뛰어난 성능을 보이며, 모든 수준에서 벤치마크를 능가한다.
• CRISPR-Cas9 다중 유전자 노크아웃 실험에서 NCoRE는 관측되지 않은 삼중 노크아웃 조합으로도 성공적으로 외삽하여 일반화 능력을 입증했다.
• 상호작용 하위망의 포함이 핵심적이었으며, 상호작용을 모델링하지 않은 아블레이션 실험에서 성능 저하가 발생했다.