[논문 리뷰] VCNet and Functional Targeted Regularization For Learning Causal Effects of Continuous Treatments

Lizhen Nie, Mao Ye외 2명|arXiv (Cornell University)|2021. 03. 14.

Statistical Methods and Inference참고 문헌 40인용 수 15

한 줄 요약

이 논문은 연속적 치료를 모델링하기 위해 층의 가중치가 치료 수준에 따라 부드럽게 변하도록 하는 새로운 신경망 아키텍처인 VCNet을 소개한다. 이는 평균 복용량-반응 함수(ADRF) 추정의 연속성을 보장한다. 또한 이중 강건 추정기 생성을 위해 기능적 타겟화된 정규화를 제안하여 유한 표본 성능을 햖थ한다. 이 두 방법을 함께 사용함으로써 합성 및 실세계 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Motivated by the rising abundance of observational data with continuous treatments, we investigate the problem of estimating the average dose-response curve (ADRF). Available parametric methods are limited in their model space, and previous attempts in leveraging neural network to enhance model expressiveness relied on partitioning continuous treatment into blocks and using separate heads for each block; this however produces in practice discontinuous ADRFs. Therefore, the question of how to adapt the structure and training of neural network to estimate ADRFs remains open. This paper makes two important contributions. First, we propose a novel varying coefficient neural network (VCNet) that improves model expressiveness while preserving continuity of the estimated ADRF. Second, to improve finite sample performance, we generalize targeted regularization to obtain a doubly robust estimator of the whole ADRF curve.

연구 동기 및 목표

• 관찰 데이터에서 연속적 치료를 고려할 때 추정된 곡선의 연속성을 유지하면서 평균 복용량-반응 함수(ADRF)를 추정하는 데 도전하는 것.
• 기존 신경망 방법이 블록 단위 치료 분할으로 인해 불연속적인 ADRF 추정을 초래하는 한계를 극복하는 것.
• 치료에 따라 가중치가 치료 수준에 따라 연속적으로 변하도록 설계된 네트워크 구조를 통해 모델의 표현력과 치료 정보 유지 능력을 향상시키는 것.
• 타겟화된 정규화를 기능적 추정으로 일반화하여 전체 ADRF 곡선의 이중 강건 추정기 구축을 가능하게 하고, 모델 복잡도를 제어하는 것.
• 합성 및 반합성 데이터셋에서 VCNet과 기능적 타겟화된 정규화를 함께 사용함으로써 뛰어난 경험적 성능을 달성하는 것.

제안 방법

• 최종 예측 헤드의 가중치가 치료 변수의 연속 함수로 매개변수화된 변형 계수 신경망인 VCNet을 제안하여 부드럽고 연속적인 ADRF 추정을 보장한다.
• 연속적 활성화 함수와 치료에 의존하는 가중치 모듈을 사용하여 고차원적 공변량이 존재할 경우에도 출력 ADRF가 연속적으로 유지되도록 보장한다.
• B-스플라인을 통한 스무딩과 표본 크기에 따라 조절되는 정규화 강도를 통해 모델 복잡도와 강건성을 균형 잡는 방식으로 타겟화된 정규화를 기능적 추정으로 일반화한다.
• 결과 모델과 성향 점수 모델을 조합하고, 일관성 있는 조건을 만족시키는 편향 기반 정규화 기반의 복합 정규화 기반으로 전체 ADRF 곡선에 대한 이중 강건 추정기를 제안한다.
• 편향 함수를 모델링하기 위해 조절 가능한 극점 수를 가진 B-스플라인 기저 함수를 사용하여, 무한 차원 함수 공간에서의 부드러움과 유한 차원 제어를 보장한다.
• 합성 및 반합성 데이터셋에 이 방법을 적용하며, 800 에포크 동안 훈련하고 다양한 구성에서 하이퍼파ram터 튜닝을 통해 강력한 평가를 보장한다.

실험 결과

연구 질문

• RQ1 치료가 분할되어 있을지라도 불연속성이 발생하지 않는 방식으로 연속적 ADRF를 추정할 수 있는 신경망 아키텍처를 설계할 수 있는가?
• RQ2 유한 표본 성능 향상을 위해 타겟화된 정규화를 스칼라 추정에서 기능적 추정으로 일반화할 수 있는가?
• RQ3 신경망과 기능적 정규화를 사용하여 전체 ADRF 곡선에 대한 이중 강건 추정기를 구성할 수 있는가?
• RQ4 VCNet과 기능적 타겟화된 정규화를 결합하면 다양한 데이터셋에서 기존 베이스라인에 비해 일관되게 향상된 성능을 달성할 수 있는가?
• RQ5 특히 치료 또는 결과에 관련된 요소들만 일부인 경우, 고차원적 혼동 요인과 노이즈가 많은 공변량 하에서 이 방법은 어떻게 성능을 발휘하는가?

주요 결과

• VCNet은 그림 1에서 시각적 비교를 통해 부드러운 빨간 곡선(VCNet) 대비 불연속적인 파란 곡선(DRNet)을 보여줌으로써 연속적인 ADRF 추정을 수행함을 입증한다.
• VCNet과 기능적 타겟화된 정규화의 조합은 합성, IHDP, News 데이터셋에서 일관되게 최신 기술 수준의 성능을 달성하며, Causal Forest, BART, GPS 베이스라인을 모두 능가한다.
• 하이퍼파ram터 선택에 대해 매우 민감하지 않으며, 정규화 파ram터 α에 대한 민감도가 최소이므로 안정적인 최적화를 보인다.
• 제안된 기능적 타겟화된 정규화는 온건한 정규성 조건 하에서 일관되고 이중 강건한 ADRF 추정기를 제공하며, 스무딩과 표본 크기에 따라 조절되는 정규화 강도를 통해 모델 복잡도를 제어한다.
• 이 방법은 TMLE를 기능적 추정으로 일반화하는 최초의 사례를 제공하며, 이중 강건성을 갖춘 전체 인과 곡선 추정을 위한 새로운 프레임워크를 제공한다.
• IHDP 및 News 데이터셋에 대한 경험적 결과는 VCNet과 타겟화된 정규화의 조합을 사용할 경우 평균 제곱오차와 곡선 충실도에서 뚜렷한 향상을 보였다.