[논문 리뷰] DoubleML -- An Object-Oriented Implementation of Double Machine Learning in R

Philipp Bach, Victor Chernozhukov외 3명|arXiv (Cornell University)|2021. 03. 17.

Mental Health Research TopicsPsychology참고 문헌 67인용 수 21

한 줄 요약

이 논문은 객체 지향 설계를 사용하여 이중/편향 제거 기계 학습 프레임워크를 구현하는 R 패키지인 DoubleML을 소개한다. 이는 네이먼 수직성, 샘플 분할, 그리고 mlr3 생태계의 기계 학습 추정기들을 활용하여 고차원 모형—예를 들어 부분 선형 및 상호작용 회귀 모형—에서 유효한 인과적 추론을 가능하게 하며, 복잡한 부수적 기능이 존재하는 상황에서도 인과적 파rameter의 강건하고 효율적인 추정을 보장한다.

ABSTRACT

The R package DoubleML implements the double/debiased machine learning framework of Chernozhukov et al. (2018). It provides functionalities to estimate parameters in causal models based on machine learning methods. The double machine learning framework consist of three key ingredients: Neyman orthogonality, high-quality machine learning estimation and sample splitting. Estimation of nuisance components can be performed by various state-of-the-art machine learning methods that are available in the mlr3 ecosystem. DoubleML makes it possible to perform inference in a variety of causal models, including partially linear and interactive regression models and their extensions to instrumental variable estimation. The object-oriented implementation of DoubleML enables a high flexibility for the model specification and makes it easily extendable. This paper serves as an introduction to the double machine learning framework and the R package DoubleML. In reproducible code examples with simulated and real data sets, we demonstrate how DoubleML users can perform valid inference based on machine learning methods.

연구 동기 및 목표

• 인과 추론을 위한 R에서 이중 기계 학습 프레임워크의 유연하고 확장 가능하며 재현 가능한 구현을 제공하기 위해.
• 부수적 기능 추정을 위해 네이먼 수직성, 샘플 분할, 기계 학습을 조합하여 고차원 인과 모형에서 유효한 추론을 가능하게 하기 위해.
• 부분 선형, 상호작용, 그리고 도구 변수 모형을 포함한 다양한 인과 모형을 확장 가능한 객체 지향 아키텍처를 통해 지원하기 위해.
• 모델 사양, 튜닝, 재표본 추출을 위한 민첩한 접근을 가능하게 하기 위해 mlr3 생태계와 원활하게 통합하기 위해.
• 모의 및 실제 데이터 예제를 지원하는 통합 복제 코드를 통해 재현 가능한 연구를 촉진하기 위해.

제안 방법

• 패키지는 R6 클래스 기반의 객체 지향 설계를 사용하여 모델 전용 구성 요소—예를 들어 스코어 함수 및 추정 논리—를 캡슐화한다.
• 부수적 기능의 추정 오차에 강건하기 위해 네이먼 수직성 추정 방정식을 구현한다.
• 대상 파rameter 추정과 부수적 기능 추정을 분리하기 위해 샘플 분할을 적용하여 추론의 타당성을 향상시킨다.
• 부수적 기능(예: 조건부 평균 또는 성향 스코어)은 mlr3 생태계의 최신 기계 학습 방법을 사용하여 추정한다.
• 다양한 재표본 추출 기법을 지원하며, 표준 오차 추정, 신뢰구간, 다중 추론을 위한 승수 부트스트랩을 통한 내장된 절차를 포함한다.
• 대상 파ram터에 대해 선형이면서 네이먼 수직성을 만족하는 새로운 스코어 함수를 정의함으로써 새로운 모델 유형을 추가할 수 있다.

실험 결과

연구 질문

• RQ1 고차원 인과 모형에서 유효한 추론을 가능하게 하기 위해 R에서 이중 기계 학습이 어떻게 효과적으로 구현될 수 있는가?
• RQ2 DoubleML의 객체 지향 설계가 다양한 인과 모형에 대한 유연성과 확장성에 얼마나 기여하는가?
• RQ3 mlr3 생태계와의 통합이 다양한 기계 학습 방법에 걸쳐 강건하고 확장 가능한 추정을 지원할 수 있는가?
• RQ4 PLR, PLIV, IRM, IIVM 모형을 포함한 다양한 데이터 생성 과정에서 DoubleML의 유한 표본 성능은 어떠한가?
• RQ5 고차원 혼동 요인을 가진 시뮬레이션 연구에서 DoubleML의 경험적 성능은 신뢰구간의 커버리지 확률, 크기, 검정력 측면에서 어떻게 평가되는가?

주요 결과

• DoubleML은 부분 선형 및 상호작용 회귀 모형(도구 변수 확장 포함)에 대한 완전한 지원을 통해 R에서 이중 기계 학습 프레임워크를 성공적으로 구현하였다.
• 네이먼 수직성 보장과 샘플 분할을 통한 부수적 기능 추정의 편향 감소로 인해 고차원 환경에서도 유효한 추론을 달성하였다.
• n=500 및 n=1000 관측치를 가진 시뮬레이션 연구에서, DoubleML은 PLIV, IRM, IIVM 모형에서 모두 적절한 신뢰구간 커버리지 비율을 유지하였다.
• 반복 시뮬레이션을 통해 모형 오특함과 고차원 부수적 기능의 추정 오차에 대해 강건함을 입증하였으며, 안정적인 크기와 검정력이 관찰되었다.
• mlr3와의 통합을 통해 부수적 기능의 기계 학습 모델에 대한 민첩하고 자동화된 튜닝이 가능해져 추정 효율성이 향상되었다.
• 승수 부트스트랩 절차를 통해 동시 신뢰 영역 및 조정된 p-값을 포함한 고급 추론을 지원하였다.