[논문 리뷰] Minimax Estimation of Conditional Moment Models

Nishanth Dikkala, Greg Lewis외 2명|arXiv (Cornell University)|2020. 06. 12.

Statistical Methods and Inference참고 문헌 55인용 수 20

한 줄 요약

이 논문은 조건부 모멘트 모델을 위한 최소최대 추정 프레임워크를 제안하며, 가설 공간과 검증 함수 공간 상에서 모델러와 적대자 간의 제로섬 게임으로서 추정을 공식화한다. 이 프레임워크는 이러한 공간들의 임계 반경에 따라 스케일링되는 빠른 국소적 추정 속도를 확립하여, 최소한의 가정 하에 비모수적 모델인 RKHS, 희소 선형 모델, 랜덤 포레스트, 신경망 등에 대해 최적의 속도를 달성한다.

ABSTRACT

We develop an approach for estimating models described via conditional moment restrictions, with a prototypical application being non-parametric instrumental variable regression. We introduce a min-max criterion function, under which the estimation problem can be thought of as solving a zero-sum game between a modeler who is optimizing over the hypothesis space of the target model and an adversary who identifies violating moments over a test function space. We analyze the statistical estimation rate of the resulting estimator for arbitrary hypothesis spaces, with respect to an appropriate analogue of the mean squared error metric, for ill-posed inverse problems. We show that when the minimax criterion is regularized with a second moment penalty on the test function and the test function space is sufficiently rich, then the estimation rate scales with the critical radius of the hypothesis and test function spaces, a quantity which typically gives tight fast rates. Our main result follows from a novel localized Rademacher analysis of statistical learning problems defined via minimax objectives. We provide applications of our main results for several hypothesis spaces used in practice such as: reproducing kernel Hilbert spaces, high dimensional sparse linear functions, spaces defined via shape constraints, ensemble estimators such as random forests, and neural networks. For each of these applications we provide computationally efficient optimization methods for solving the corresponding minimax problem (e.g. stochastic first-order heuristics for neural networks). In several applications, we show how our modified mean squared error rate, combined with conditions that bound the ill-posedness of the inverse problem, lead to mean squared error rates. We conclude with an extensive experimental analysis of the proposed methods.

연구 동기 및 목표

• 조건부 모멘트 제약 조건으로 정의된 비모수적 모델을 위한 통계학적 학습 이론의 해석적 대안을 개발하여, 기존 GMM의 한계를 극복한다.
• 신경망과 랜덤 포레스트와 같은 현대적인 머신러닝 가설 클래스를 사용하여 고차원 및 비모수적 설정에서의 추정을 가능하게 한다.
• 가설 공간과 검증 함수 공간의 내재적 복잡성에 적응하는 빠른 유한표본 추정 속도를 도출한다.
• 실제로 결과 최소최대 문제를 해결하기 위한 계산적으로 효율적인 최적화 방법을 제공한다.
• 추정 오차를 기능 클래스의 임계 반경과 연결하여 정보이론적으로 최적의 속도를 달성한다.

제안 방법

• 가설 공간 H 상에서 최소화하고 검증 함수 공간 F 상에서 최대화하는 최소최대 최적화로 추정을 공식화하여 악성 위반 모멘트를 식별한다.
• 기준 함수 Ψ(h,f) = E[(y−h(x))f(z)] 를 도입하고 h₀ = arg inf_h sup_f Ψ(h,f) 를 풀며, 이를 제로섬 게임으로 간주한다.
• 안정성과 유한표본 제어를 확보하기 위해 검증 함수 f 에 대한 제곱 모멘트 페널티를 도입한다.
• 최소최대 목표에 맞게 조정된 국소적 라데마처 복잡도 분석을 적용하여 빠른 속도를 도출한다.
• RKHS 기반 모델에서의 확장 가능한 계산을 위해 커널 근사(니스트롬 방법)를 사용한다.
• 도구 변수의 강도와 커널 연산자의 고유구조에 대한 가정을 통해 역문제의 불안정성에 대한 경계를 설정하여 추정 속도를 유도한다.

실험 결과

연구 질문

• RQ1 조건부 모멘트 제약 조건을 통해 정의된 비모수적 모델을 위한 통계학적 학습 이론 프레임워크를 개발할 수 있는가? 이는 M-추정과 유사한가?
• RQ2 모멘트 제약 조건 하에서 신경망과 랜덤 포레스트와 같은 복잡한 가설 클래스에 대해 빠르고 유한표본 추정 속도를 달성할 수 있는가?
• RQ3 가설 공간과 검증 함수 공간의 임계 반경은 추정 오차 속도를 결정하는 데 어떤 역할을 하는가?
• RQ4 정규화와 적대적 검증은 불안정한 역문제에서 강건성과 적응성 향상에 어떻게 기여하는가?
• RQ5 투사된 평균제곱오차 속도가 실제 평균제곱오차 속도를 유도하는 데 필요한 조건는 무엇인가?

주요 결과

• 제안된 최소최대 추정기는 투사된 평균제곱오차 속도가 가설 공간과 검증 함수 공간의 임계 반경에 따라 스케일링되어, 빠르고 최적의 속도를 달성한다.
• 검증 함수 공간이 풍부하고 제곱 모멘트 페널티로 정규화될 경우, 진짜 가설 노름에 대한 사전 지식 없이도 모델의 내재적 복잡성에 적응하는 추정 속도를 달성한다.
• 재생 커널 힐버트 공간(RKHS)의 경우, 커널의 고유값 감쇠와 도구 변수의 강도에 따라 추정 속도가 결정되며, 약한 가정 하에 명시적인 경계가 유도된다.
• 고차원 희소 선형 모델에서는 희소성과 제한된 고유값 조건 하에서 빠른 속도를 달성하며, 계산적으로 효율적인 일阶 최적화 방법을 사용한다.
• 신경망과 랜덤 포레스트의 경우, 프레임워크는 확률적 일阶 히우리스틱을 통한 효율적 학습을 가능하게 하며, 추정 오차에 대한 이론적 보장을 제공한다.
• 도구 변수의 강도와 고유구조에 대한 충분한 조건(예: τₘ 및 γₘ 경계)을 만족할 경우, 투사된 RMSE 속도는 실제 RMSE 속도를 유도하며, 이론적 성능과 실질적 추정 간의 연결 고리를 제공한다.