[논문 리뷰] Revisiting Révész's stochastic approximation method for the estimation of a regression function

Abdelkader Mokkadem, Mariane Pelletier외 1명|ArXiv.org|2008. 12. 20.

Simulation Techniques and Applications참고 문헌 36인용 수 24

한 줄 요약

이 논문은 회귀 함수 추정을 위한 Révész의 확률적 근사 방법을 재검토하며, 평균화 원리를 적용함으로써 추정기의 수렴 속도가 최적의 $n^{-2/5}$에 도달함을 보이며, 밀도 가정을 완화함으로써 기존의 엄격한 조건을 완화한다. 평균화된 Révész 추정기는 원래 추정기보다 수렴 속도와 강건성 측면에서 모두 향상되며, 특히 신뢰구간 추정에서 두각을 나타낸다.

ABSTRACT

In a pioneer work, Révész (1973) introduces the stochastic approximation method to build up a recursive kernel estimator of the regression function $x\mapsto E(Y|X=x)$. However, according to Révész (1977), his estimator has two main drawbacks: on the one hand, its convergence rate is smaller than that of the nonrecursive Nadaraya-Watson's kernel regression estimator, and, on the other hand, the required assumptions on the density of the random variable $X$ are stronger than those usually needed in the framework of regression estimation. We first come back on the study of the convergence rate of Révész's estimator. An approach in the proofs completely different from that used in Révész (1977) allows us to show that Révész's recursive estimator may reach the same optimal convergence rate as Nadaraya-Watson's estimator, but the required assumptions on the density of $X$ remain stronger than the usual ones, and this is inherent to the definition of Révész's estimator. To overcome this drawback, we introduce the averaging principle of stochastic approximation algorithms to construct the averaged Révész's regression estimator, and give its asymptotic behaviour. Our assumptions on the density of $X$ are then usual in the framework of regression estimation. We prove that the averaged Révész's regression estimator may reach the same optimal convergence rate as Nadaraya-Watson's estimator. Moreover, we show that, according to the estimation by confidence intervals point of view, it is better to use the averaged Révész's estimator rather than Nadaraya-Watson's estimator.

연구 동기 및 목표

• Révész(1977)의 방법과는 다를 바 있는 새로운 분석적 접근을 통해 Révész의 재귀 커널 추정기를 재표현함으로써, 더 엄밀한 수렴 속도 분석이 가능하도록 한다.
• Révész 원래 추정기의 두 가지 주요 단점인 부분 최적 수렴 속도와 설계 밀도 $f(x)$에 대한 지나친 강력한 가정을 해결한다.
• 확률적 근사 알고리즘에 평균화 원리를 도입하여, 표준 밀도 가정만으로도 최적 수렴 속도를 달성하는 새로운 추정기를 구성한다.
• 신뢰구간 추정에서 평균화된 Révész 추정기와 Nadaraya-Watson을 비교하여 성능 향상을 입증한다.

제안 방법

• 크널 가중치를 사용한 업데이트를 갖는 확률적 근사 알고리즘으로서, 단계 크기 $\gamma_n = 1/n$를 사용하여 Révész의 재귀 추정기를 재기록한다.
• 추정기 $r_n(x)$의 행동을 추적할 수 있는 관측 불가능한 근사 수열 $\rho_n(x)$를 도입함으로써, 마틴게일 기법을 통한 渐近 분석이 가능해진다.
• Révész의 추정기에 평균화 원리를 적용하여, 재귀 경로를 매끄럽게 하고 수렴 성질을 향상시키는 새로운 평균화된 추정기를 구성한다.
• 마틴게일 차분 수열을 사용하고 지수적 모멘트 경계를 적용하여 오차 과정의 이차 변동성을 통제한다.
• 오차 항의 일관성과 모멘트 조건을 이용하여 $L^2$-오차의 경계를 설정함으로써 수렴 속도를 확립한다.
• 특히 $\Phi_c(\lambda) = \mathbb{E}[\exp(\lambda M) \mathbb{1}_{\{\lambda M \leq c\}}]$라는 사실을 활용하여 꼬리 행동을 통제하고 오차 과정에 대한 균일한 경계를 유도한다.

실험 결과

연구 질문

• RQ1 Révész의 재귀적 회귀 추정기가 다른 증명 기법을 통해 최적의 $n^{-2/5}$ 수렴 속도를 달성할 수 있는가?
• RQ2 Révész(1977)에서 요구하는 강력한 밀도 가정은 재귀 추정기에 내재된 특성인가, 아니면 완화될 수 있는가?
• RQ3 Révész 알고리즘에 평균화 원리를 적용하면, 개선된 수렴 속도와 감소된 가정 조건을 갖는 일致한 추정기가 도출되는가?
• RQ4 신뢰구간 추정에서 평균화된 Révész 추정기는 Nadaraya-Watson보다 성능이 뛰어나게 되는가?
• RQ5 마틴게일 극한 이론과 균일한 모멘트 경계를 사용하여 평균화된 Révész 추정기의 渐近 행동을 특성화할 수 있는가?

주요 결과

• 새로운 증명 기법을 적용한 원래 Révész 추정기는 최적의 $n^{-2/5}$ 수렴 속도를 달성하며, 이는 Nadaraya-Watson 추정기와 동일하다.
• Révész 추정기에 평균화 원리를 적용한 결과, 동일한 최적 수렴 속도를 갖는 새로운 추정기가 도출되었으며, 이는 표준 밀도 가정($f(x) > 0$)만으로도 가능하여 Révész(1977)의 주요 단점을 해결한다.
• 신뢰구간 추정에서 평균화된 Révész 추정기는 커버리지 성질의 이론적 비교를 통해 Nadaraya-Watson보다 더 뛰어난 성능을 보인다.
• 증명 기법은 재귀 수열을 관측 불가능한 과정 $\rho_n(x)$로 근사함으로써, 마틴게일 농도 부등식의 적용이 가능해진다.
• 오차 과정은 $\tilde{S}_n^{(2)} \in \mathcal{GS}(s_2^*)$인 수열을 통해 경계지어지며, 이는 균일한 적분 가능성과 $n^{-2/5}$ 속도 유도에 기여한다.
• 이 방법은 평균화된 Révész 추정기가 동일한 대역폭 선택 조건 하에서 Nadaraya-Watson 추정기와 동일한 분산을 갖는 점근 정규성을 갖는다는 것을 입증한다.