[논문 리뷰] Orthogonal Machine Learning: Power and Limitations

Lester Mackey, Vasilis Syrgkanis외 1명|arXiv (Cornell University)|2017. 11. 01.

Statistical Methods and Inference참고 문헌 9인용 수 8

한 줄 요약

이 논문은 이중 머신 러닝에서의 1차 네이먼 수직성의 한계를 초월하여, 낭비 매개변수 추정 오차에 대한 강건성을 향상시키는 고차수 수직성 프레임워크를 제안한다. $k$-번째 수직성 구조를 도입함으로써, 첫 번째 단계의 추정 속도가 $n^{-1/4}$에서 $n^{-1/(2k+2)}$로 감소하여, 더 약한 조건 하에서도 타당한 추론이 가능해지며, 특히 처리 잔차가 정규분포가 아닐 경우 부분선형 회귀 모델에서 고차원적 혼동요인을 더 잘 다룰 수 있도록 개선된다.

ABSTRACT

Double machine learning provides $\sqrt{n}$-consistent estimates of parameters of interest even when high-dimensional or nonparametric nuisance parameters are estimated at an $n^{-1/4}$ rate. The key is to employ Neyman-orthogonal moment equations which are first-order insensitive to perturbations in the nuisance parameters. We show that the $n^{-1/4}$ requirement can be improved to $n^{-1/(2k+2)}$ by employing a $k$-th order notion of orthogonality that grants robustness to more complex or higher-dimensional nuisance parameters. In the partially linear regression setting popular in causal inference, we show that we can construct second-order orthogonal moments if and only if the treatment residual is not normally distributed. Our proof relies on Stein's lemma and may be of independent interest. We conclude by demonstrating the robustness benefits of an explicit doubly-orthogonal estimation procedure for treatment effect.

연구 동기 및 목표

• 이중 머신 러닝에서 1차 네이먼 수직성의 한계를 해결하기 위해, 타당한 추론을 위해 낭비 매개변수 추정 속도가 $o(n^{-1/4})$ 이하일 필요가 있음을 다루기.
• 낭비 매개변수 추정 오차에 대한 강건성을 향상시키기 위한 고차수 수직성의 일반적 프레임워크를 개발하기.
• 부분선형 회귀 모델에서 2차 수직 모멘트를 구성할 수 있는 조건을 조사하기.
• 처리 잔차가 비정규분포일 경우, 처리 효과 추정에서 고차원 혼동요인을 더 잘 다룰 수 있음을 보여주기.
• 스테인의 보조정리(Stein’s lemma)를 이용해 고차수 수직 모멘트의 존재성 및 비존재성을 이론적으로 확립하기.

제안 방법

• 낭비 매개변수의 $k$-번째 차수 변화에 대해 모멘트 방정식에 민감하지 않은 $k$-번째 수직성의 개념을 도입하기.
• 부분선형 회귀(PLR) 모델에 이 프레임워크를 적용하여 2차 수직 모멘트를 구성할 조건 유도하기.
• 스테인의 보조정리를 사용해 처리 잔차의 분포적 성질을 기술하고, 잔차가 정규분포일 경우 2차 수직성이 불가능함을 증명하기.
• 이중 수직성 추정 절차를 명시적으로 구성하여, 더 약한 첫 번째 단계 추정 속도 하에서도 점근 정규성과 $√{n}$-일致성을 유지하기.
• 첫 번째 단계 추정 오차가 $o(n^{-1/(2k+2)})$ 이하일 경우, 두 번째 단계 추정기의 일치성과 점근 정규성을 확립하기.
• 스노우피어스 가정 하에서 고차원 회귀 기법(예: 라소)을 활용해 실무에서 필요한 추정 속도를 달성하기.

실험 결과

연구 질문

• RQ1 고차수 수직성은 1차 네이먼 수직성 이상의 이중 머신 러닝 추정기의 강건성을 향상시킬 수 있는가?
• RQ2 부분선형 회귀 모델에서 2차 수직 모멘트는 어떤 조건에서 구성될 수 있는가?
• RQ3 처리 잔차가 정규분포일 경우, 고차수 수직 모멘트를 구성하는 것은 가능한가?
• RQ4 수직성의 차수 증가에 따라 필요한 첫 번째 단계 추정 속도는 어떻게 변화하는가?
• RQ5 비정규분포 처리 잔차는 고차원 환경에서 고차수 수직 추정의 가능성과 성능에 어떤 영향을 미치는가?

주요 결과

• 처리 잔차가 정규분포가 아닐 경우에만 부분선형 회귀 모델에서 2차 수직 모멘트를 구성할 수 있다.
• 처리 잔차가 비정규분포일 경우, $√{n}$-일치성에 필요한 첫 번째 단계 추정 속도가 스파arsity 가정 하에서 $o(n^{-1/4})$에서 $o(n^{-2/3})$로 향상된다.
• 스노우피어스 선형 낭비 함수에 대해, 이 방법은 첫 번째 수직성의 $o(\sqrt{n}/\log p)$ 대비 $o(n^{2/3}/\log p)$의 관련 혼동요인을 지원한다.
• n=5000, p=1000인 시뮬레이션 실험에서, 2차 수직 추정은 거의 편향 없는 추정($\hat{\theta}=3.0$)과 낮은 분산($\hat{\sigma}=0.032$)을 달성한 반면, 표준 수직 방법은 큰 편향($\hat{\theta}=2.78$)을 보였다.
• 스테인의 보조정리를 이용해 정규분포 처리 잔차 하에서 2차 수직성이 불가능함을 증명함으로써, 이 경우의 강건성에 대한 기본적인 한계를 규명하였다.
• 고차수 수직성의 $k$-번째 차수에 대해, 첫 번째 단계 추정 오차가 $o(n^{-1/(2k+2)})$ 이하일 경우, 두 번째 단계 추정기의 이론적 일치성과 점근 정규성이 확립되었다.