[논문 리뷰] Optimal estimation of variance in nonparametric regression with random design

Yandi Shen, Chao Gao외 2명|arXiv (Cornell University)|2019. 02. 27.

Statistical Methods and Inference참고 문헌 47인용 수 5

한 줄 요약

이 논문은 랜덤 설계에서 비모수적 회귀 모형에서 분산 함수 $V(\cdot)$를 추정할 때의 최소최대 속도를 확립하며, 국소 및 전역 제곱 손실 하에서 이 속도가 $n^{-\frac{8\alpha\beta}{4\alpha\beta+2\alpha+\beta}} \vee n^{-\frac{2\beta}{2\beta+1}}$임을 보여준다. 저자들은 U-통계량 기반 국소 다항 추정기와 설계의 무작위성과 부드러움의 상호작용을 다루기 위해 새로운 삼각형 모양의 평균 함수와 희소 다항분포 기법을 사용한 하한을 도출하였다.

ABSTRACT

Consider the heteroscedastic nonparametric regression model with random design \begin{align*} Y_i = f(X_i) + V^{1/2}(X_i)\varepsilon_i, \quad i=1,2,\ldots,n, \end{align*} with $f(\cdot)$ and $V(\cdot)$ $α$- and $β$-Hölder smooth, respectively. We show that the minimax rate of estimating $V(\cdot)$ under both local and global squared risks is of the order \begin{align*} n^{-\frac{8αβ}{4αβ+ 2α+ β}} \vee n^{-\frac{2β}{2β+1}}, \end{align*} where $a\vee b := \max\{a,b\}$ for any two real numbers $a,b$. This result extends the fixed design rate $n^{-4α} \vee n^{-2β/(2β+1)}$ derived in Wang et al. [2008] in a non-trivial manner, as indicated by the appearances of both $α$ and $β$ in the first term. In the special case of constant variance, we show that the minimax rate is $n^{-8α/(4α+1)}\vee n^{-1}$ for variance estimation, which further implies the same rate for quadratic functional estimation and thus unifies the minimax rate under the nonparametric regression model with those under the density model and the white noise model. To achieve the minimax rate, we develop a U-statistic-based local polynomial estimator and a lower bound that is constructed over a specified distribution family of randomness designed for both $\varepsilon_i$ and $X_i$.

연구 동기 및 목표

• 랜덤 설계에서 이분산 비모수적 회귀 모형에서 분산 함수 $V(\cdot)$를 추정할 때의 최소최대 수렴 속도를 결정하는 것.
• 고정 설계에서의 속도 $n^{-4\alpha} \vee n^{-2\beta/(2\beta+1)}$를 설계점이 i.i.d. 인 랜덤 설계 설정으로 확장하여 $\alpha$와 $\beta$에 모두 의존하는 속도를 도출하는 것.
• 상수 분산 케이스에서의 밀도 및 화이트 노이즈 모형의 최소최대 속도와 분산 추정의 최소최대 속도를 통합하는 것.
• 설계 밀도의 부드러움에 대한 가정 없이도 최적의 속도를 달성하는 U-통계량 기반 국소 다항 추정기를 개발하는 것.
• 설계 점의 무작위성을 효과적으로 다루기 위해 삼각형 모양의 평균 함수와 희소 다항분포 이론을 활용한 새로운 하한을 구성하는 것.

제안 방법

• 응답값 간 이차 차이를 스무딩하여 분산 함수 $V(\cdot)$를 추정하기 위한 U-통계량 기반 국소 다항 추정기를 제안하는 것.
• Gin\'e 등 (2000)의 네 항짜리 버니에이드 부등식을 사용하여 설계 밀도의 부드러움을 가정하지 않고도 추정기의 위험을 분석하는 것.
• 속도에 영향을 주는 $\alpha$와 $\beta$의 역할을 분리하기 위해 정밀하게 국소화된 평균 함수 $f(\cdot)$를 구성하여 하한을 도출하는 것.
• Kolchin 등 (1978)의 희소 다항분포 이론을 활용하여 i.i.d. 설계 점의 점근적 행동을 모델링하기 위해 삼각형 모양의 평균 함수를 도입하는 것.
• 최소최대 속도의 비자명한 항에서 $\alpha$와 $\beta$의 영향을 분리하기 위해 $f(\cdot)$ 구성 시 국소화 기법을 적용하는 것.
• 에psilon_i와 X_i에 대한 분포 가족을 도입하여, 랜덤 설계 하에서 분산 추정의 본질적 곤란도를 반영하는 하한을 도출하는 것.

실험 결과

연구 질문

• RQ1 분산 함수 $V(\cdot)$를 추정할 때, $f(\cdot)$와 $V(\cdot)$가 각각 $\alpha$-와 $\beta$-H\
• RQ2 고정 설계와 비교하여 랜덤 설계 설정에서의 최소최대 속도는 $\alpha$와 $\beta$에 대한 의존성 측면에서 어떻게 다를까?
• RQ3 랜덤 설계 모형에서의 분산 추정 최소최대 속도를 밀도 모형과 화이트 노이즈 모형의 속도들과 통합할 수 있는가?
• RQ4 설계 점의 무작위성은 최소최대 속도에 어떤 역할을 하는가? 그리고 하한 구성에서 이를 효과적으로 모델링할 수 있는가?
• RQ5 U-통계량과 국소 다항 스무딩을 어떻게 조합하여 설계 밀도의 부드러움에 대한 가정 없이도 최적의 분산 추정을 달성할 수 있는가?

주요 결과

• 랜덤 설계 설정에서 국소 및 전역 제곱 손실 하에서 $V(\cdot)$를 추정할 때의 최소최대 속도는 $n^{-\frac{8\alpha\beta}{4\alpha\beta+2\alpha+\beta}} \vee n^{-\frac{2\beta}{2\beta+1}}$이다.
• 이 속도에는 $\alpha$와 $\beta$에 모두 의존하는 비자명한 항 $n^{-\frac{8\alpha\beta}{4\alpha\beta+2\alpha+\beta}}$가 포함되어 있으며, 고정 설계에서는 첫 번째 항에 $\alpha$만 등장하는 것과 다르다.
• $\alpha < \beta/(4\beta + 2)$ 인 경우, 랜덤 설계 설정에서 고정 설계 설정보다 더 빠른 속도를 달성하며, 이는 설계의 무작위성에 기인한 이점임을 시사한다.
• 상수 분산 케이스($V(\cdot) \equiv \sigma^2$)에서는 $\sigma^2$를 추정할 때의 최소최대 속도가 $n^{-8\alpha/(4\alpha+1)} \vee n^{-1}$이며, 이는 밀도 모형과 화이트 노이즈 모형에서 알려진 속도와 일치한다.
• U-통계량 기반 국소 다항 추정기는 설계 밀도의 부드러움에 대한 가정 없이도 최적의 속도를 달성한다.
• 하한 구성은 새로운 삼각형 모양의 평균 함수와 희소 다항분포 이론을 기반으로 하며, i.i.d. 설계 점의 점근적 행동을 모델링한다.