[논문 리뷰] MetaCI: Meta-Learning for Causal Inference in a Heterogeneous Population

Ankit Sharma, Garima Gupta외 4명|arXiv (Cornell University)|2019. 12. 09.

Advanced Causal Inference Techniques참고 문헌 18인용 수 12

한 줄 요약

MetaCI는 Reptile 기반 메타최적화를 활용하여 깊은 신경망의 강건한 초기화를 학습함으로써 이질적 인구집단에서 인과적 추론을 향상시키는 메타학습 프레임워크를 제안한다. 이는 분포 이질성, 특히 공변량 및 개념 이질성 하에서 평균 절대 퍼센티지 오차(MAPE)를 랜덤 초기화 및 기준 모델 대비 상당히 감소시킨다.

ABSTRACT

Performing inference on data obtained through observational studies is becoming extremely relevant due to the widespread availability of data in fields such as healthcare, education, retail, etc. Furthermore, this data is accrued from multiple homogeneous subgroups of a heterogeneous population, and hence, generalizing the inference mechanism over such data is essential. We propose the MetaCI framework with the goal of answering counterfactual questions in the context of causal inference (CI), where the factual observations are obtained from several homogeneous subgroups. While the CI network is designed to generalize from factual to counterfactual distribution in order to tackle covariate shift, MetaCI employs the meta-learning paradigm to tackle the shift in data distributions between training and test phase due to the presence of heterogeneity in the population, and due to drifts in the target distribution, also known as concept shift. We benchmark the performance of the MetaCI algorithm using the mean absolute percentage error over the average treatment effect as the metric, and demonstrate that meta initialization has significant gains compared to randomly initialized networks, and other methods.

연구 동기 및 목표

• 이질적 인구집단에서 새로운, 관측되지 않은 하위군으로 일반화되는 인과적 추론 모델의 과제를 해결한다.
• 실제 관측 데이터에서 흔한 분포 이질성—특히 개념 이질성 및 공변량 이질성—를 극복한다.
• 깊은 신경망을 메타학습을 통해 초기화하여 평균 치료 효과(ATE) 추정의 정확도를 향상시킨다.
• 기존의 하위군 분석을 대체하여 하위군 간 공통된 구조를 탐지하는 작업 기반 메타학습 파라다임을 도입한다.
• 추론 과정에서 데이터 분포 이질성 발생 시 모델의 강건성과 일반화 능력을 입증한다.

제안 방법

• 혼동 요인에서 유도된 하위군을 기반으로 메타학습의 작업을 정의하여, 하위집단 간 공통 패턴을 학습할 수 있도록 한다.
• 메타최적화를 위해 Reptile 알고리즘을 적용하여 다수의 작업을 거쳐 강력한 초기 파라미터 설정을 학습한다.
• 표현 및 가설 레이어에 대해 다른 학습률을 사용하는 다중 Reptile(multi-Reptile)를 도입하여 학습 안정성 향상과 일반화 성능 향상을 도모한다.
• 요인 및 반요인 결과를 모델링하는 딥 네트워크 아키텍처를 사용하며, 혼동 변수를 고려하여 손실을 메타최적화를 통해 최소화한다.
• 실제 이질성을 시뮬레이션하기 위해 제어된 분포 이질성이 있는 합성 및 반합성 데이터셋(IHDP 및 광고 도메인)에서 모델을 훈련시킨다.
• 다양한 수의 작업과 혼합 전략에 따른 성능 평가를 위해 ATE의 평균 절대 퍼센티지 오차(MAPE)를 주요 평가 지표로 사용한다.

실험 결과

연구 질문

• RQ1 메타학습은 이질적 인구집단의 새로운 하위군으로 일반화되는 인과적 추론 모델의 성능을 향상시킬 수 있는가?
• RQ2 분포 이질성 하에서 Reptile를 통한 메타초기화는 랜덤 초기화 대비 ATE 추정 정확도에서 어떻게 비교되는가?
• RQ3 작업 수와 혼합 전략(k)을 다양하게 조절할 경우 MetaCI 프레임워크의 성능에 어떤 영향을 미치는가?
• RQ4 표현 레이어와 가설 레이어 간 상대적 학습률이 모델 수렴 및 ATE 추정 정확도에 어떤 영향을 미치는가?
• RQ5 MetaCI는 관측 데이터에서 동시에 공변량 이질성과 개념 이질성을 얼마나 잘 처리할 수 있는가?

주요 결과

• IHDP 데이터셋에서 7개의 작업과 4개의 혼합 청크를 사용할 경우, MetaCI는 RandomCI 대비 ATE의 MAPE를 최대 70% 감소시켰다.
• 7개의 작업을 가진 합성 데이터셋에서 MetaCI는 MAPE 0.5528을 기록했으며, RandomCI는 0.6976을 기록하여 일관된 향상을 보였다.
• 3개의 혼합 청크와 단일 특성 작업을 사용할 경우, 합성 데이터셋에서 MetaCI는 MAPE 0.2473을 달성했으며, RandomCI(1.3160)에 비해 뚜렷한 승리를 거두었다.
• 표현 레이어에 더 느린 학습률(εϕ < εh)을 사용하는 다중 Reptile를 적용한 경우, MetaCI는 IHDP 데이터셋에서 실제값과 0.01 이내의 ATE 추정치를 도출했다.
• 공변량 이질성과 개념 이질성이 동시에 발생하는 상황(예: 3개의 데이터 생성 과정)에서, 합성 데이터셋에서 MetaCI는 평균 ATE MAPE 1.3153을 기록했으며, RandomCI는 2.0104를 기록했다.
• 특히 데이터 생성 과정(DGPs) 수가 증가할수록 개념 이질성 하에서 더 빠른 수렴과 더 나은 안정성을 보였다.