[논문 리뷰] Learning non-smooth models: instrumental variable quantile regressions and related problems

Yinchu Zhu|arXiv (Cornell University)|2018. 05. 17.

Statistical Methods and Inference참고 문헌 62인용 수 4

한 줄 요약

이 논문은 계산적으로 효율적인 k단계 보정 방법을 제안하며, NP-hard인 GMM 설정을 해결하지 않고도 점점이 효율적인 추정을 달성한다. 혼합정수선형계획법(MILP)을 통해 빠르게 계산 가능한 일관성 없는 初期 추정기와 튜닝이 없는 자코비안 추정기의 조합을 통해, 많은 내생적 회귀변수를 포함한 경우에도 이질적 처리효과에 대한 확장 가능한 추론을 가능하게 한다.

ABSTRACT

This paper proposes computationally efficient methods that can be used for instrumental variable quantile regressions (IVQR) and related methods with statistical guarantees. This is much needed when we investigate heterogenous treatment effects since interactions between the endogenous treatment and control variables lead to an increased number of endogenous covariates. We prove that the GMM formulation of IVQR is NP-hard and finding an approximate solution is also NP-hard. Hence, solving the problem from a purely computational perspective seems unlikely. Instead, we aim to obtain an estimate that has good statistical properties and is not necessarily the global solution of any optimization problem. The proposal consists of employing $k$-step correction on an initial estimate. The initial estimate exploits the latest advances in mixed integer linear programming and can be computed within seconds. One theoretical contribution is that such initial estimators and Jacobian of the moment condition used in the k-step correction need not be even consistent and merely $k=4\log n$ fast iterations are needed to obtain an efficient estimator. The overall proposal scales well to handle extremely large sample sizes because lack of consistency requirement allows one to use a very small subsample to obtain the initial estimate and the k-step iterations on the full sample can be implemented efficiently. Another contribution that is of independent interest is to propose a tuning-free estimation for the Jacobian matrix, whose definition nvolves conditional densities. This Jacobian estimator generalizes bootstrap quantile standard errors and can be efficiently computed via closed-end solutions. We evaluate the performance of the proposal in simulations and an empirical example on the heterogeneous treatment effect of Job Training Partnership Act.

연구 동기 및 목표

• 상호작용 항으로 인해 다수의 내생적 회귀변수가 발생할 경우 표준 GMM 기반 IVQR 추정의 계산 비가용성 해결
• IVQR GMM 최적화의 NP-hard 성격으로 인해 효율적인 전역 해법을 찾는 것이 불가능한 문제 극복
• 계산 최적성보다 통계 효율성을 우선시하는 방법 개발을 통해 대규모 표본에서의 확장 가능한 추론 실현
• 조건부 밀도를 포함한 비연속 GMM 모델에서 자코비안 행렬에 대한 튜닝이 없는 추정기 개발
• 정책 평가와 같은 대규모 계량경제학적 응용에서 이질적 처리효과에 대한 실용적인 추정 및 추론 가능화

제안 방법

• 혼합정수선형계획법(MILP)을 통해 얻은 초기 추정기에서 시작하는 k단계 보정 절차를 사용하며, 이는 몇 초 내에 계산 가능하다.
• 초기 추정기는 일관성이 필요 없으므로 계산 속도를 높이기 위해 매우 작은 표본을 사용할 수 있다.
• 전체 표본에서 k = 4 log n 반복을 수행하여 비록 초기 추정기가 일관성이 없더라도 점점이 효율성을 달성한다.
• 튜닝이 없는 자코비안 추정기를 제안하며, 이는 부트스트랩 분위수 표준오차를 일반화하고 닫힌 형태의 해를 통해 계산된다.
• 조건부 분위수를 포함하는 모멘트 조건을 사용하여 IVQR 문제를 설정하고, 원래의 NP-hard 최적화를 해결하지 않고도 GMM 스타일의 추론을 적용한다.
• 와드 통계량과 t통계량을 사용하여 모형 파라미터에 대한 추론을 수행하며, 분산-공분산 행렬은 제안된 자코비안 추정기를 통해 추정한다.

실험 결과

연구 질문

• RQ1 IVQR의 GMM 설정은 계산적으로 가능할까, 아니면 NP-hard일까?
• RQ2 NP-hard인 GMM 최적화 문제를 해결하지 않고도 IVQR에서 점점이 효율적인 추정을 달성할 수 있을까?
• RQ3 조건부 밀도를 포함한 비연속 GMM 모델에서 자코비안 행렬에 대한 튜닝이 없는 추정기를 구성할 수 있을까?
• RQ4 제안된 k단계 보정 방법은 통계적 효율성과 계산 확장성 측면에서 어떻게 성능을 발휘하는가?
• RQ5 실제 정책 평가에서 치료와 공변량 간의 상호작용 항은 얼마나 이질적 처리효과를 드러내는가?

주요 결과

• IVQR의 GMM 설정이 NP-hard임을 증명하였으며, 일정 요인 이내의 근사해를 찾는 것도 NP-hard임을 입증하여 본질적인 계산 비가용성을 확인하였다.
• 제안된 k단계 보정 방법은 초기 추정기가 일관성이 없더라도 k = 4 log n 반복만으로도 점점이 효율성을 달성한다.
• 초기 추정기는 매우 작은 표본에서 계산 가능하고, 전체 표본의 반복도 계산적으로 경량이므로 대규모 표본으로의 확장이 효율적으로 이루어진다.
• 제안된 튜닝이 없는 자코비안 추정기는 부트스트랩 표준오차를 일반화하며, 닫힌 형태의 해를 통해 효율적인 계산을 가능하게 한다.
• JTPA 실증 응용에서, 모든 분위수에서 처리효과의 이질성이 없음을 시사하는 귀무가설(θ_j(τ) = 0)이 강하게 기각되었으며, τ = 0.85일 때 와드 통계량이 90을 초월하였다.
• 결과는 명백한 이질성 존재를 보여주었으며, 기혼자는 높은 소득 수준에서 JTPA에 더 큰 이익을 보였고, 이전 고용 상태는 높은 소득층에서만 처리효과에 영향을 미쳤다.