[논문 리뷰] Nonparametric Estimation of the Regression Function in an Errors-in-Variables Model

Fabienne Comte, Marie‐Luce Taupin|arXiv (Cornell University)|2005. 11. 04.

Statistical Methods and Inference참고 문헌 15인용 수 13

한 줄 요약

이 논문은 탈로우드 기법과 적응형 페널티 대비 추정기를 활용하여 오차가 있는 변수 모델에서 회귀 함수에 대한 비모수적 추정 방법을 제안한다. 오차 밀도와 회귀 함수에 다양한 부드러움 조건을 가정할 때 추정기의 최적 수렴 속도를 확립하며, 오차가 일반적인 부드러움 또는 초부드러운 경우이며, 회귀 함수와 밀도가 유사한 정규성 조건을 만족할 경우 추정기가 최소 최대 수렴 속도를 달성함을 보여준다.

ABSTRACT

We consider the regression model with errors-in-variables where we observe $n$ i.i.d. copies of $(Y,Z)$ satisfying $Y=f(X)+ξ, Z=X+σε$, involving independent and unobserved random variables $X,ξ,ε$. The density $g$ of $X$ is unknown, whereas the density of $σε$ is completely known. Using the observations $(Y\_i, Z\_i)$, $i=1,...,n$, we propose an estimator of the regression function $f$, built as the ratio of two penalized minimum contrast estimators of $\ell=fg$ and $g$, without any prior knowledge on their smoothness. We prove that its $\mathbb{L}\_2$-risk on a compact set is bounded by the sum of the two $\mathbb{L}\_2(\mathbb{R})$-risks of the estimators of $\ell$ and $g$, and give the rate of convergence of such estimators for various smoothness classes for $\ell$ and $g$, when the errors $ε$ are either ordinary smooth or super smooth. The resulting rate is optimal in a minimax sense in all cases where lower bounds are available.

연구 동기 및 목표

• 오차가 있는 변수 모델에서 회귀 함수에 대한 비모수적 추정기를 개발하기 위해.
• 오차 밀도가 알려져 있지 않으며 일반적인 부드러움 또는 초부드러운 경우일 수 있는 상황에서 회귀 함수를 추정하는 데 도전하기 위해.
• 오차 밀도와 기본 함수에 다양한 부드러움 조건을 가정할 때 추정기의 최적 수렴 속도를 유도하기 위해.
• 오차 밀도와 회귀 함수가 동일한 정규성 특성을 가질 경우 제안된 추정기가 최소 최대 수렴 속도를 달성함을 보여주기 위해.
• 동시에 코Variates의 밀도를 추정할 경우 추정기의 성능을 조사하고, 추정기가 최적일 조건을 규명하기 위해.

제안 방법

• 이 방법은 회귀 함수와 코Variates 밀도의 곱 ℓ = f·g를 추정하기 위해 탈로우드 접근법을 사용한다.
• ℓ과 g에 대해 페널티 대비 추정기를 사용하며, 차원 선택은 기대 제곱 오차를 최소화하는 방식으로 이루어진다.
• 편향과 분산을 균형 잡기 위해, 추정기의 구성은 절단 수준 D_m̆_ℓ 및 D_m̆_g를 사용한 기저 전개를 기반으로 한다.
• 위험 한계에서 경험 과정 항목을 제어하기 위해 탈라그랑드 유형의 농도 부등식을 적용한다.
• 경험 과정을 두 성분으로 분해함으로써 페널티 추정기의 위험에 대한 상한을 유도한다: 하나는 회귀 함수를 포함하고, 다른 하나는 오차를 포함한다.
• 최종 추정기 ̂f는 추정된 ℓ와 g의 비율로 얻어지며, 이에 대한 이론적 수렴 속도 보장이 제공된다.

실험 결과

연구 질문

• RQ1 오차 밀도가 일반적인 부드러움 또는 초부드러운 경우 오차가 있는 변수 모델에서 비모수적 회귀의 최적 수렴 속도는 무엇인가?
• RQ2 제안된 추정기가 오차 밀도와 회귀 함수에 다양한 부드러움 조건을 가질 때 최소 최대 수렴 속도를 달성할 수 있는가?
• RQ3 추정기의 성능은 오차 밀도와 코Variates 밀도의 부드러움에 어떻게 의존하는가?
• RQ4 회귀 함수가 코Variates 밀도보다 더 부드러울 경우, 어떤 조건에서 추정기가 최적일까?
• RQ5 알 수 없는 부드러움 파rameter에 대해 기저 함수의 정규성에 대한 사전 지식 없이도 이 방법을 조정할 수 있는가?

주요 결과

• 오차 밀도가 일반적인 부드러움이며 r_ℓ = r_g = 0일 경우, 최적 수렴 속도는 O(n^{-2a^*/(2a^* + 2α + 1)})이며, 여기서 a^* = min(a_ℓ, a_g)이다.
• 오차 밀도가 초부드러우며 r_ℓ = r_g = 0일 경우, 속도는 O((ln n)^{-2a^*/ρ})이며, 이는 어떤 음의 거듭제곱보다 빠르지만 어떤 로그의 거듭제곱보다는 느리다.
• 초부드러운 오차에 대해 r_ℓ > 0 및 r_g > 0일 경우, 속도는 O(ln(n)^{(2α+1)/r*}/n)이며, 여기서 r^* = min(r_ℓ, r_g)이며, 이는 어떤 로그의 거듭제곱보다도 더 빠르다.
• Fan (1991a), Butucea (2004), 그리고 Butucea와 Tsybakov (2004)가 보여준 것처럼, 회귀 함수와 코Variates 밀도가 동일한 부드러움을 가질 경우 추정기는 최소 최대 수렴 속도를 달성한다.
• 밀도 g가 회귀 함수 f보다 더 부드러울 경우 추정기는 여전히 최적이다. 그러나 f가 g보다 더 부드러울 경우 최적성은 입증되지 않으며, 이는 비율 기반 추정기의 한계를 드러낸다.
• 최종 추정기 ̂f_̆m_ℓ,̆m_g의 위험 한계는 ℓ와 g의 추정기 위험 중 더 나쁜 것을 지배하며, 함수와 오차 분포에 대해 약한 모멘트 및 정규성 조건이 만족될 경우 이 한계는 성립한다.