[논문 리뷰] Minimax Semiparametric Learning With Approximate Sparsity

Jelena Bradić, Victor Chernozhukov외 2명|arXiv (Cornell University)|2019. 12. 27.

Statistical Methods and Inference인용 수 4

한 줄 요약

이 논문은 Lasso 기반 추정과 교차적합을 사용한 비편향화된 기계학습을 통해 고차원적이고 약간 흐린 회귀 기능성(예: 회귀 계수, 평균 도함수, 평균 처리 효과)의 루트-n 일致 추정을 위한 최소 최적 조건을 설정한다. 주요 기여는 최소 약간의 흐린 성질($\xi_1 > 1/2$) 또는 비율 이중 안정성($\xi_1\xi_2 > 1/4$) 조건 하에서 루트-n 일치 추정이 가능하다는 것을 보여주는 것으로, 이는 이전 결과를 알려진 최소한의 최적 조건으로 일반화한 것이다.

ABSTRACT

Estimating linear, mean-square continuous functionals is a pivotal challenge in statistics. In high-dimensional contexts, this estimation is often performed under the assumption of exact model sparsity, meaning that only a small number of parameters are precisely non-zero. This excludes models where linear formulations only approximate the underlying data distribution, such as nonparametric regression methods that use basis expansion such as splines, kernel methods or polynomial regressions. Many recent methods for root-$n$ estimation have been proposed, but the implications of exact model sparsity remain largely unexplored. In particular, minimax optimality for models that are not exactly sparse has not yet been developed. This paper formalizes the concept of approximate sparsity through classical semi-parametric theory. We derive minimax rates under this formulation for a regression slope and an average derivative, finding these bounds to be substantially larger than those in low-dimensional, semi-parametric settings. We identify several new phenomena. We discover new regimes where rate double robustness does not hold, yet root-$n$ estimation is still possible. In these settings, we propose an estimator that achieves minimax optimal rates. Our findings further reveal distinct optimality boundaries for ordered versus unordered nonparametric regression estimation.

연구 동기 및 목표

• 고차원적이고 약간 흐린 회귀 모형에서 선형이며 평균 제곱 연속적인 기능성의 루트-n 일치 추정을 위한 필수 및 충분 조건을 설정하는 것.
• 기존의 비편향화된 기계학습 추정기들을 더 약한 일반 조건 하에서도 루트-n 일치 추정이 가능하도록 확장하는 것.
• 약간의 흐린 성질이 루트-n 추정 가능성을 결정짓는 데서의 역할을 명확히 하는 것, 특히 최적의 회귀자 집합의 신원이 알려져 있지 않을 경우에 중점을 두고.
• 비정규 오차와 이방성과 같은 더 일반적인 조건 하에서도 루트-n 일치 추정을 유지하는 추정기 개발.
• 루트-n 일치 추정이 가능하다는 것을 보여주며, 린츠 표현자의 흐린 비율($\xi_2$)이 단독으로 $\xi_2 > 1/2$일 경우에 루트-n 일치 추정이 가능하다는 것을 확인한다.

제안 방법

• Lasso를 사용한 회귀 및 편향 보정을 통한 비편향화된 기계학습 추정기 제안, 교차적합을 통해 점근 정규성을 확보.
• 이중 단계 추정 절차 적용: 먼저 Lasso로 회귀 함수 $\rho_0$ 추정, 그 다음 영향 함수에 대해 Lasso로 린츠 표현자 $\alpha_0$ 추정.
• 분할된 샘플을 사용한 교차적합을 통해 추정과 추정 오차를 분리하여 최종 추정기의 편향을 감소.
• 추정된 린츠 표현자의 $L_1$-노름을 제어하기 위해 타입 함수 $\tau_n$를 적용하여 안정성 확보.
• 레그레션과 린츠 표현자에 대해 빈약한 근사 비율 $s^{-\xi}$를 사용하여 추정 오차의 이론적 경계 유도.
• 최소한의 조건 하에서 점근 정규성과 일致한 분산 추정을 확립, 조건은 $\xi_1 > 1/2$ 또는 $\xi_1\xi_2 > 1/4$.

실험 결과

연구 질문

• RQ1 고차원 모형에서 회귀 기울기 또는 평균 도함수의 루트-n 일치 추정이 가능한 데에 필요한 빈약한 근사 비율 $\xi_1$ 및 $\xi_2$의 최소 조건은 무엇인가?
• RQ2 최적의 $s$개의 회귀자가 알려져 있을 때와 알려져 있지 않을 때의 루트-n 추정 가능성이 어떻게 달라지는가?
• RQ3 루트-n 일치 추정이 $\xi_1 > 1/2$ 조건 없이도 비율 이중 안정성($\xi_1\xi_2 > 1/4$) 조건 하에서 달성 가능한가?
• RQ4 레그레션은 조밀하다($\xi_1 \leq 1/2$)지만 린츠 표현자는 흐리다($\xi_2 > 1/2$) 경우에 루트-n 일치 추정이 가능할 수 있는가?
• RQ5 교차적합과 타입화가 고차원 반모수 모형에서 루트-n 일치 추정과 점근 정규성을 확보하는 데서 수행하는 역할은 무엇인가?

주요 결과

• 회귀 기울기 또는 평균 도함수의 루트-n 일치 추정을 위한 필수 및 충분 조건은 $\max\{\xi_1, \xi_2\} > 1/2$이며, 이는 알려진 신원 조건보다 더 강력한 조건이다.
• 레그레션은 조밀할 수 있지만, 린츠 표현자가 충분히 흐리면 $\xi_1 > 1/2$ 조건 하에서 루트-n 일치 추정이 가능하다.
• 비율 이중 안정성 조건 $\xi_1\xi_2 > 1/4$는 루트-n 일치 추정에 충분하며, 이는 이전 조건보다 더 넓은 적용 가능성을 제공한다.
• 교차적합이 없는 추정기 역시 $\xi_1 > 1/2$ 및 추가적인 규칙성 조건(예: $\bar{\tau}_n \to \infty$ 및 $\|\rho_n - \rho_0\|_2 \to 0$) 하에서 루트-n 일치 추정이 가능하며, 일치한 분산 추정이 가능하다.
• 그림 1에서 알려진 신원 조건과 알려지지 않은 신원 조건 사이의 격차는 최적의 회귀자가 알려져 있지 않을 경우 추정이 더 엄격하게 어려운 것을 확인한다.
• 제안된 추정기들은 최소한의 흐린 성질 가정 하에서 점근 정규성 $\sqrt{n}(\hat{\theta} - \theta_0) \overset{d}{\longrightarrow} N(0, V)$과 일치한 분산 추정을 달성한다.