[논문 리뷰] Large and moderate deviation principles for averaged stochastic approximation method for the estimation of a regression function

Yousri Slaoui|arXiv (Cornell University)|2013. 04. 29.

Simulation Techniques and Applications참고 문헌 6인용 수 8

한 줄 요약

이 논문은 비모수 회귀 추정에 사용되는 평균화된 확률적 근사 알고리즘에 대해 대규모 및 중간 규모의 편차 원리(LDP 및 MDP)를 수립한다. 가중치 수열이 渐近 분산을 최소화할 경우, LDP의 속도 함수는 나다라야-워츠온 커널 추정기와 정확히 일치하는 반면, MDP의 속도 함수는 나다라야-워츠온 추정기 및 반재귀적 추정기보다 더 크다.

ABSTRACT

In this paper we prove large deviations principles for the averaged stochastic approximation method for the estimation of a regression function introduced by A. Mokkadem et al. [Revisiting Révész's stochastic approximation method for the estimation of a regression function, ALEA Lat. Amm. J. Probab. Math. Stat. 6 (2009), 63-114]. We show that the averaged stochastic approximation algorithm constructed using the weight sequence which minimize the asymptotic variance gives the same pointwise LDP as the Nadaraya-Watson kernel estimator. Moreover, we give a moderate deviations principle for these estimators. It turns out that the rate function obtained in the moderate déviations principle for the averaged stochastic approximation algorithm constructed using the weight sequence which minimize the asymptotic variance is larger than the one obtained for the Nadaraya-Watson estimator and the one obtained for the semi-recursive estimator.

연구 동기 및 목표

• 회귀 함수의 평균화된 확률적 근사 추정기의 대규모 편차 원리(LDP)를 수립하기.
• 일반적인 가중치 및 대역폭 수열 하에서 동일한 추정기의 중간 규모 편차 원리(MDP)를 유도하기.
• 평균화된 확률적 근사 추정기의 속도 함수를 나다라야-워츠온 추정기 및 반재귀적 추정기의 속도 함수와 비교하기.
• 대역폭 $ h_n = c n^{-a} $ 및 가중치 $ q_n = c' n^{-q} $ 에 대한 최적의 편차 속도를 얻기 위한 조건을 규명하기.
• 최적의 가중치 수열(漸近 분산을 최소화하는 수열)이 나다라야-워츠온 추정기와 동일한 LDP 속도 함수를 얻는 것을 보여주기.

제안 방법

• 평균화된 확률적 근사 추정기는 $ \overline{r}_n(x) = \frac{1}{\sum_{k=1}^n q_k} \sum_{k=1}^n q_k r_k(x) $ 로 정의되며, 여기서 $ r_k(x) $ 는 커널 가중 관측치를 갖는 로빈스-몬로 유형 갱신을 따른다.
• LDP는 조건 $ h_n = c n^{-a} $ ($ a \in (1-\alpha, (4\alpha-3)/2) $, $ \alpha \in (3/4,1] $) 과 $ q_n = c' n^{-q} $ ($ q < \min\{1-2a, (1+a)/2\} $) 하에서 유도된다.
• 속도 함수 $ I_{a,q,x}(t) $ 는 $ \psi_{a,q,x}(u) $ 의 페를레-레지오트 변환으로 정의되며, 이는 공동 밀도 $ g(x,y) $, 커널 $ K $, 스케일링된 증분을 포함한 적분을 포함한다.
• MDP의 경우, 속도 수열 $ v_n $ 은 $ \lim v_n = \infty $, $ \lim v_n^2 / (n h_n) = 0 $, $ \lim v_n h_n^2 = 0 $ 를 만족하여 중간 규모 편차 스케일링을 보장한다.
• MDP의 속도 함수는 누적생성함수 $ \psi_{a,q,x}''(u) $ 의 두 번째 도함수를 통해 도출되며, 이는 엄격한 볼록성과 좋은 속도 함수 성질을 확인한다.
• 분석은 크라머 변환과 누적생성함수의 성질에 기반하며, 오차 분포의 지지체에 따라 경우의 수를 나누어 분석한다.

실험 결과

연구 질문

• RQ1 일반적인 대역폭 및 가중치 수열 하에서 평균화된 확률적 근사 추정기는 대규모 편차 원리를 만족하는가?
• RQ2 평균화된 확률적 근사 추정기의 LDP에 대한 속도 함수의 정확한 형태는 무엇인가?
• RQ3 평균화된 확률적 근사 추정기의 LDP 속도 함수는 나다라야-워츠온 커널 추정기의 것과 어떻게 비교되는가?
• RQ4 평균화된 확률적 근사 추정기의 MDP 속도 함수는 나다라야-워츠온 추정기 및 반재귀적 추정기의 것보다 초과하는가?
• RQ5 $ h_n $ 및 $ q_n $ 에 대한 어떤 조건이 편차 행동 측면에서 속도 함수의 최적성을 보장하는가?

주요 결과

• 분산을 최소화하는 가중치를 갖는 평균화된 확률적 근사 추정기의 LDP 속도 함수는 정확히 나다라야-워츠온 커널 추정기의 속도 함수와 일치한다.
• 최적의 가중치를 갖는 평균화된 확률적 근사 추정기의 MDP 속도 함수는 나다라야-워츠온 추정기 및 반재귀적 추정기의 것보다 엄격히 크다.
• 속도 함수 $ I_{a,q,x}(t) $ 는 $ (0,\infty) $ 에서 엄격히 볼록하고 미분 가능하며, 도함수는 $ I'_{a,q,x}(t) = (\psi'_{a,q,x})^{-1}(t) $ 로 주어져 좋은 대규모 편차 행동을 보장한다.
• 누적생성함수 $ \psi_{a,q,x}(u) $ 는 엄격히 볼록하고 무한히 미분 가능하며, 모든 $ u \in \mathbb{R} $ 에 대해 $ \psi_{a,q,x}''(u) > 0 $ 이다. 이는 좋은 속도 함수 성질을 보장한다.
• 오차 분포가 양의 및 음의 증분의 지지체를 모두 갖는 경우, $ \psi'_{a,q,x} $ 의 범위는 $ \mathbb{R} $ 이며, 이는 속도 함수가 전체 실수선에서 정의될 수 있음을 의미한다.
• 오차 분포가 $ S_+ \cap T_+ $ 또는 $ S_- \cap T_- $ 에 비퇴도 지지체를 갖는 경우, 속도 함수 $ I_{a,q,x}(0) $ 는 유한하고 양수이며, 영 이격에서 비자명한 편차 행동을 나타낸다.