[논문 리뷰] Non-Standard Asymptotics in High Dimensions: Manski's Maximum Score Estimator Revisited

Debarghya Mukherjee, Moulinath Banerjee외 1명|arXiv (Cornell University)|2019. 03. 24.

Statistical Methods and Inference참고 문헌 21인용 수 6

한 줄 요약

이 논문은 고차원 이元선택 모형에서 Manski의 최대 스코어 추정량을 재검토하며, 부드러운 마진 조건과 부드러움 파라미터 α > 0 하에서 비표준 점근적 속도를 확립한다. 이는 처음으로 입체근 유사 점근적 속도의 고차원 해석을 도출하며, 느린 성장에서는 ((p/n)log n)^{α/(α+2)}의 속도와 빠른 성장에서는 ((s₀ log p log n)/n)^{α/(α+2)}의 속도를 보이며, α = 1일 때 l₀-패널티 추정을 통해 최적의 속도를 달성한다.

ABSTRACT

Manski's celebrated maximum score estimator for the binary choice model has been the focus of much investigation in both the econometrics and statistics literatures, but its behavior under growing dimension scenarios still largely remains unknown. This paper seeks to address that gap. Two different cases are considered: $p$ grows with $n$ but at a slow rate, i.e. $p/n ightarrow 0$; and $p \gg n$ (fast growth). By relating Manski's score estimation to empirical risk minimization in a classification problem, we show that under a \emph{soft margin condition} involving a smoothness parameter $\alpha > 0$, the rate of the score estimator in the slow regime is essentially $\left((p/n)\log n ight)^{\frac{\alpha}{\alpha + 2}}$, while, in the fast regime, the $l_0$ penalized score estimator essentially attains the rate $((s_0 \log{p} \log{n})/n)^{\frac{\alpha}{\alpha + 2}}$, where $s_0$ is the sparsity of the true regression parameter. For the most interesting regime, $\alpha = 1$, the rates of Manski's estimator are therefore $\left((p/n)\log n ight)^{1/3}$ and $((s_0 \log{p} \log{n})/n)^{1/3}$ in the slow and fast growth scenarios respectively, which can be viewed as high-dimensional analogues of cube-root asymptotics: indeed, this work is possibly the first study of a non-regular statistical problem in a high-dimensional framework. We also establish upper and lower bounds for the minimax $L_2$ error in the Manski's model that differ by a logarithmic factor, and construct a minimax-optimal estimator in the setting $\alpha=1$. Finally, we provide computational recipes for the maximum score estimator in growing dimensions that show promising results.

연구 동기 및 목표

• p가 n과 함께 증가하는 고차원 설정에서 Manski의 최대 스코어 추정량의 행동을 이해하는 것.
• 특히 p ≫ n의 상황에서 차원이 증가하는 상황에서 이 추정량에 대한 이론적 이해 부족을 해결하는 것.
• 부드러움 조건 하에서 Manski 모형의 L₂ 오차에 대해 비점근적 위험 경계와 최소최대 최적 속도를 확립하는 것.
• p가 증가하는 고차원 설정에서 최대 스코어 추정량을 효율적으로 계산할 수 있는 알고리즘을 개발하는 것.

제안 방법

• Manski의 스코어 추정을 이진 분류 프레임워크에서의 경험 위험 최소화 문제로 연결한다.
• 진짜 회귀 함수의 마진 행동을 기술하기 위해 부드러움 파라미터 α > 0로 인덱싱된 부드러운 마진 조건을 도입한다.
• 최소최대 L₂ 위험에 대해 상한과 하한 경계를 도출하며, 이들이 오직 로그 인자로만 다름을 보인다.
• p ≫ n 상황에서 최적의 속도를 달성하기 위해 최대 스코어 추정량의 l₀-패널티 버전을 제안한다.
• 두 가지 스케일링 체제 하에서 추정량의 수렴 속도를 분석한다: p/n → 0 (느린 성장) 및 p ≫ n (빠른 성장).
• 특히 α = 1인 경우에 대해 최소최대 최적 추정량을 구축하며, 최적의 속도 ((s₀ log p log n)/n)^{1/3}을 달성한다.

실험 결과

연구 질문

• RQ1 p가 표본 크기 n과 함께 증가하는 느린 성장 체제(p/n → 0)에서 Manski의 최대 스코어 추정량의 수렴 속도는 무엇인가요?
• RQ2 p ≫ n인 고차원 체제에서 추정량은 어떻게 행동하며, 이때 희박성 s₀는 어떤 역할을 하나요?
• RQ3 부드러운 마진 조건 하에서 α = 1일 때 Manski 모형에 대해 최소최대 최적 추정량을 구성할 수 있는가요?
• RQ4 이 모형에서 L₂ 추정 오차에 대한 최소최대 하한 경계는 무엇이며, 상한 경계와 얼마나 가까운가요?
• RQ5 p가 증가하는 고차원 설정에서 최대 스코어 추정량은 어떻게 효율적으로 계산할 수 있나요?

주요 결과

• 느린 성장 체제(p/n → 0)에서, 부드러운 마진 조건과 부드러움 파라미터 α > 0 하에서 최대 스코어 추정량은 ((p/n)log n)^{α/(α+2)}의 속도를 달성한다.
• 빠른 성장 체제(p ≫ n)에서, l₀-패널티 최대 스코어 추정량은 ((s₀ log p log n)/n)^{α/(α+2)}의 속도를 달성하며, 여기서 s₀는 진짜 매개변수의 희박성이다.
• α = 1일 때, 속도는 각각 ((p/n)log n)^{1/3}과 ((s₀ log p log n)/n)^{1/3}으로 줄어들며, 이는 입체근 점근적 해석의 고차원 해석에 해당한다.
• L₂ 위험에 대한 최소최대 하한과 상한 경계는 오직 로그 인자로만 다를 뿐이며, 이는 유도된 속도의 날카로움을 시사한다.
• α = 1인 경우에 대해 최소최대 최적 추정량이 명시적으로 구축되었으며, 최적의 속도 ((s₀ log p log n)/n)^{1/3}을 달성한다.
• 증가하는 차원에서 최대 스코어 추정량을 효율적으로 계산할 수 있는 계산 방법이 제안되었으며, 이는 유망한 경험적 성능을 보였다.