[논문 리뷰] DeepMed: Semiparametric Causal Mediation Analysis with Debiased Deep Learning

Siqi Xu, Lin Liu외 1명|arXiv (Cornell University)|2022. 10. 10.

Bayesian Modeling and Causal Inference인용 수 7

한 줄 요약

DeepMed는 자연적 직접효과(NDE)와 간접효과(NIE)의 효율적 영향 함수(efficient influence function)에서 오염 함수(nuisance functions)를 추정하기 위해 보정된 딥 뉴럴 네트워크(DNNs)를 사용하는 딥 러닝 기반 방법을 제안한다. 이는 희박한 DNN 아키텍처를 요구하지 않으며, 저차원 구조에 적응할 수 있어 DNN 기반 인과 추론의 이론과 실무를 발전시킨다.

ABSTRACT

Causal mediation analysis can unpack the black box of causality and is therefore a powerful tool for disentangling causal pathways in biomedical and social sciences, and also for evaluating machine learning fairness. To reduce bias for estimating Natural Direct and Indirect Effects in mediation analysis, we propose a new method called DeepMed that uses deep neural networks (DNNs) to cross-fit the infinite-dimensional nuisance functions in the efficient influence functions. We obtain novel theoretical results that our DeepMed method (1) can achieve semiparametric efficiency bound without imposing sparsity constraints on the DNN architecture and (2) can adapt to certain low dimensional structures of the nuisance functions, significantly advancing the existing literature on DNN-based semiparametric causal inference. Extensive synthetic experiments are conducted to support our findings and also expose the gap between theory and practice. As a proof of concept, we apply DeepMed to analyze two real datasets on machine learning fairness and reach conclusions consistent with previous findings.

연구 동기 및 목표

• 특히 복잡하고 고차원적인 오염 함수에 대해 DNN 기반 인과 중재 분석의 이론적 보장이 부족한 점을 보완하기 위해.
• 실제로 널리 사용되는 희박한 DNN 아키텍처를 요구하지 않으면서도 반세미파라메트릭 효율성을 달성하는 방법을 개발하기 위해.
• 거의 무한차원 오염 함수를 시뮬레이션하는 합성 실험을 설계하여 이론과 실무 간 격차를 메우기 위해.
• 의료 및 공정성 적용 분야에서 재현 가능한 인과 중재 분석을 위한 실용적이고 사용자 友好的한 R 패키지 제공하기 위해.

제안 방법

• DeepMed는 완전히 연결된 ReLU 활성화 함수를 사용하는 피드포워드 DNN을 사용하여 오염 함수(유사도 점수, 결과 회귀, 중재자 회귀)를 추정하기 위해 V-겹절리프링(V-fold cross-fitting)을 적용한다.
• NDE/NIE의 효율적 영향 함수(EIF)의 다중저항성(multiply-robust) 성질을 활용하여, 적어도 하나의 오염 함수가 일관되게 추정될 경우 편향 상쇄가 가능하다.
• EIF 기반의 보정된 추정기(estimator)를 사용하여, 약한 규칙성 조건 하에서 점근 정규성과 반세미파라메트릭 효율성을 보장한다.
• 표본 분할을 통해 도른커(Donsker) 유형의 경험 과정 가정을 피하여 유한 표본 성능을 향상시킨다.
• 특수한 NDE/NIE의 경우를 통해 총 효과 추정으로 프레임워크를 확장하고, 혼합 편향 구조를 가진 기능성 기능(functionals)에 적용 가능하다.
• 재현 가능한 구현을 위한 R 패키지가 제공되며, 공정성 및 생물의학 분야의 실제 응용에 적합하다.

실험 결과

연구 질문

• RQ1 DNN 기반 인과 중재 추정기에서 희박한 DNN 아키텍처를 요구하지 않으면서도 반세미파라메트릭 효율성을 달성할 수 있는가?
• RQ2 진짜 함수가 희박하지 않은 고차원 오염 함수를 추정할 때 DNN의 성능은 어떠한가?
• RQ3 DNN 기반 인과 추론의 이론적 보장이 현실적이고 복잡한 시뮬레이션 환경에서 검증될 수 있는가?
• RQ4 DeepMed는 알고리즘 기반 재범죄 예측과 같은 실제 공정성 응용에서 알려진 결과를 회복할 수 있는가?
• RQ5 오염 함수의 저차원 구조에 대해 이 방법은 차원의 저주를 피하면서 얼마나 잘 적응하는가?

주요 결과

• DeepMed는 DNN 아키텍처에 희박성 제약 조건을 부과하지 않으면서도 NDE/NIE 추정의 반세미파라메트릭 효율성 한계를 달성한다.
• 이 방법은 오염 함수의 저차원 구조에 적응하여 추정 오차를 크게 감소시키고 차원의 저주를 완화한다.
• 거의 무한차원 오염 함수를 가진 합성 실험을 통해 이론적 보장이 복잡하고 고차원적인 환경에서도 유지됨을 입증한다.
• 약한 규칙성 조건 하에서 점근 정규성과 타당한 추론을 유지하며, 수렴 속도는 DNN 추정 오차에 의해 결정된다.
• 실제 공정성 응용 분야에 적용한 결과, DeepMed는 이전 연구와 일치하는 결론을 회복하여 실용적 관련성을 입증한다.
• R 패키지 구현을 통해 재현 가능성이 보장되고 생물의학 및 공정성 연구 분야에서의 도입을 촉진한다.