[논문 리뷰] Deep Learning Methods for Proximal Inference via Maximum Moment Restriction

Benjamin Kompa, David R. Bellamy외 3명|arXiv (Cornell University)|2022. 05. 19.

Statistical Methods and Inference인용 수 4

한 줄 요약

이 논문은 최대 모멘트 제약(MMR) 기반의 U-통계량 또는 V-통계량 손실을 유도한 최대 모멘트 제약을 활용하는 딥러닝 방법인 신경 최대 모멘트 제약(Neural Maximum Moment Restriction, NMMR)을 제안한다. NMMR는 측정되지 않은 혼란 요인 하에서 원인 효과를 추정하며, 근사적 성능 기준에서 최고의 성능을 기록하고 이론적 일致성 보장을 제공한다. 특히 고수준의 프록시 노이즈 상황에서 커널 기반 및 신경망 기반 베이스라인보다 뛰어난 성능을 보인다.

ABSTRACT

The No Unmeasured Confounding Assumption is widely used to identify causal effects in observational studies. Recent work on proximal inference has provided alternative identification results that succeed even in the presence of unobserved confounders, provided that one has measured a sufficiently rich set of proxy variables, satisfying specific structural conditions. However, proximal inference requires solving an ill-posed integral equation. Previous approaches have used a variety of machine learning techniques to estimate a solution to this integral equation, commonly referred to as the bridge function. However, prior work has often been limited by relying on pre-specified kernel functions, which are not data adaptive and struggle to scale to large datasets. In this work, we introduce a flexible and scalable method based on a deep neural network to estimate causal effects in the presence of unmeasured confounding using proximal inference. Our method achieves state of the art performance on two well-established proximal inference benchmarks. Finally, we provide theoretical consistency guarantees for our method.

연구 동기 및 목표

• 사전에 정의된 커널 함수에 의존하는 기존의 근접 추론 방법의 한계를 해결하기 위해 데이터 적응성과 확장성을 확보하지 못하는 문제를 해결한다.
• 측정되지 않은 혼란 요인 존재 하에서 평균 잠재 결과를 추정하기 위한 민첩하고 확장 가능한 딥러닝 프레임워크를 개발한다.
• 프록시 변수가 노이즈에 오염된 상황에서도 원인 효과 추정의 강건성과 효율성을 향상시킨다.
• 신경망 기반 접근법에 대한 근접 추론 프레임워크에서의 이론적 일치 보장을 제공한다.
• 기존의 기준 기준에서의 성능을 검증하고 다양한 수준의 프록시 노이즈 하에서 뛰어난 성능을 입증한다.

제안 방법

• 최대 모멘트 제약(MMR) 프레임워크에서 파생된 U-통계량 또는 V-통계량 손실 함수를 최소화하도록 훈련하는 단일 단계의 딥 뉴럴 네트워크 접근법인 NMMR을 제안한다.
• 근접 식별 가정 하에서 평균 잠재 결과를 식별하기 위해 필요한 다리 함수(bridge function)를 신경망을 통해 추정한다.
• 스토하스틱 그래디언트 하강법을 사용하여 손실 함수를 최적화함으로써 대규모 데이터셋에 대한 확장성을 확보한다.
• U-통계량과 V-통계량 양식을 모두 적용하며, NMMR-V는 프록시 노이즈에 대해 더 뛰어난 강건성을 보였다.
• 딥 네트워크를 통한 데이터 적응형 특징 학습을 구현하여 이전 방법에서의 고정 커널 함수의 한계를 극복한다.
• 일반 조건 하에서 이론적 일치 보장을 포함하며, 추정기의 渐近적 타당성을 입증한다.

실험 결과

연구 질문

• RQ1 측정되지 않은 혼란 요인 하에서 근접 추론에 있어 브릿지 함수를 효과적으로 추정하는 데에 딥 뉴럴 네트워크를 사용할 수 있는가?
• RQ2 신경망 기반의 MMR 방법은 근접 추론 환경에서 커널 기반 및 이중단계 회귀 방법과 비교해 어떻게 성능을 발휘하는가?
• RQ3 프록시 변수가 노이즈에 오염되었을 경우, 제안된 방법이 얼마나 강건하게 유지되는가?
• RQ4 데이터 적응형 신경망의 사용이 고정 커널 방법 대비 추정 효율성을 향상시키는가?
• RQ5 근접 추론 프레임워크 내에서 딥러닝 기반 MMR 추정기의 이론적 일치 성질은 무엇인가?

주요 결과

• 수요 실험에서 NMMR-V는 모든 노이즈 수준에서 가장 낮은 원인 평균 제곱오차(c-MSE)를 기록하여 프록시 노이즈에 대한 뛰어난 강건성을 입증했다.
• NMMR은 나이브 넷 베이스라인을 일관되게 능가하여 U-통계량 및 V-통계량 손실 함수가 추정 정확도 향상에 기여한다는 점을 확인했다.
• 커널 기반 방법인 KPV와 PMMR는 고수준의 노이즈 수준에서 성능이 향상되었는데, 이는 데이터 적응성 감소와 분산 감소로 인한 것으로 보인다.
• 놀랍게도 Z 프록시(Z1, Z2)에 노이즈를 증가시키면 몇몇 방법의 c-MSE가 감소했는데, 이는 노이즈가 많은 Z 프록시가 덜 정보적인 프록시에 대한 의존도를 줄이고 더 정보적인 W 프록시에 집중하도록 유도할 수 있음을 시사한다.
• 수요 시뮬레이션에서 72개의 노이즈 수준 조합 전반에서 NMMR은 뛰어난 성능을 보였으며, NMMR-V는 최대 노이즈 수준에서도 낮은 오차를 유지했다.
• 표준 정규 조건 하에서 NMMR 추정기의 이론적 일치성이 입증되었으며, 이는 추정기의 渐近적 타당성을 뒷받침한다.