[논문 리뷰] Large and moderate deviation principles for recursive kernel density estimators defined by stochastic approximation method

Yousri Slaoui|arXiv (Cornell University)|2013. 01. 27.

Markov Chains and Monte Carlo Methods참고 문헌 14인용 수 10

한 줄 요약

이 논문은 확률적 근사 알고리즘을 통해 구성된 재귀적 커널 밀도 추정기의 대규모 및 중간 규모의 편차 원리(LDP 및 MDP)를 수립한다. 최적의 스텝사이즈 선택—특히 분산을 최소화하는 경우—에서 추정기는 밀도와 커널에 대한 정규 조건 하에서, 점별 및 균일하게 고전적 Rosenblatt 커널 추정기와 동일한 LDP 및 MDP 속도 함수를 달성함을 보여준다.

ABSTRACT

In this paper we prove large and moderate deviations principles for the recursive kernel estimators of a probability density function defined by the stochastic approximation algorithm introduced by Mokkadem et al. [2009. The stochastic approximation method for the estimation of a probability density. J. Statist. Plann. Inference 139, 2459-2478]. We show that the estimator constructed using the stepsize which minimize the variance of the class of the recursive estimators defined in Mokkadem et al. (2009) gives the same pointwise LDP and MDP as the Rosenblatt kernel estimator. We provide results both for the pointwise and the uniform deviations.

연구 동기 및 목표

• 확률적 근사 기반 재귀적 커널 밀도 추정기의 대규모 및 중간 규모의 편차 원리를 도출하기.
• 재귀 추정 프레임워크에서 분산을 최소화하는 최적의 스텝사이즈 수열을 규명하기.
• Rosenblatt의 고전적 비재귀 추정기와 비교하여 재귀 추정기의 편차 행동을 분석하기.
• 대역폭 및 스텝사이즈 수열에 대한 일반적인 정규 변동 조건 하에서 점별 및 균일한 편차 원리를 수립하기.
• 분산 최소화 스텝사이즈를 갖는 재귀 추정기가 Rosenblatt 추정기와 동일한 LDP 및 MDP 속도 함수를 달성함을 입증하기.

제안 방법

• 각 점에서 이전 추정치와 커널 기반 관측치의 가중 평균을 사용해 밀도 추정치를 재귀적으로 갱신하는 확률적 근사 알고리즘을 사용한다.
• 스텝사이즈 $\gamma_n$ 과 대역폭 $h_n$ 을 갖는 Robbins-Monro 계획을 적용하며, $f_n(x) = (1 - \gamma_n)f_{n-1}(x) + \gamma_n h_n^{-d} K((x - X_n)/h_n)$ 로 정의된다.
• 수축 원리와 라플라스 방법을 활용해 대규모 및 중간 규모의 편차 이론을 적용하여 속도 함수를 유도한다.
• 커널 $K$ 를 포함한 모멘트 생성 함수의 레전드-펜첼 변환으로서 속도 함수 $I_x(t)$ 를 도출한다.
• 대역폭 수열에 대한 일반적인 조건을 다루기 위해 $\gamma_n$ 과 $h_n$ 에 대한 정규 변동 가정을 적용하며, $h_n = c n^{-a}$ ($a \in (0, 1/d)$) 를 포함한 일반적인 대역폭 수열을 다룬다.
• 특히 유계가 아닌 영역에서의 균일 편차의 꼬리 확률을 제어하기 위해 농도 부등식과 모멘트 경계를 적용한다.

실험 결과

연구 질문

• RQ1 최적의 스텝사이즈 선택 하에서 재귀적 커널 밀도 추정기는 어떤 대규모 편차 원리(LDP)를 만족하는가?
• RQ2 분산 최소화 스텝사이즈를 갖는 재귀 추정기는 Rosenblatt 추정기와 동일한 LDP 속도 함수를 달성하는가?
• RQ3 일반적인 스텝사이즈 수열 하에서 재귀 추정기의 행동을 지배하는 중간 규모의 편차 원리(MDP)는 무엇인가?
• RQ4 다양한 대역폭 및 스텝사이즈 선택에 대해 점별 및 균일한 LDP/MDP 속도는 어떻게 비교되는가?
• RQ5 정규 변동 조건과 모멘트 가정을 통해, 비유계 영역에서 재귀 추정기의 균일 편차 행동을 제어할 수 있는가?

주요 결과

• 스텝사이즈 $\gamma_n = n^{-1}$ 과 $h_n = c n^{-a}$ ($a \in (0, 1/d)$) 를 갖는 재귀 추정기는 속도 $n h_n^d$ 와 함께 점별 LDP를 만족하며, $f(x) \neq 0$ 일 때 속도 함수는 $I_{a,x}(t) = f(x) I_a(1 + t/f(x))$ 로 주어진다.
• 스텝사이즈 $\gamma_n = h_n^d \left(\sum_{k=1}^n h_k^d\right)^{-1}$ 를 갖는 재귀 추정기는 Rosenblatt 추정기와 동일한 LDP 속도 함수를 달성하며, $I_x(t) = f(x) I(1 + t/f(x))$ 로 주어지며, 여기서 $I(t) = \sup_u \{ut - \psi(u)\}$ 이고 $\psi(u) = \int_{\mathbb{R}^d} (e^{uK(z)} - 1) dz$ 이다.
• 중간 규모의 편차에 대해, 스텝사이즈 $\gamma_n = \gamma(n)$ 이 정규 변동 지수 $-\alpha$ 를 갖는 경우 속도 $v_n^2$ 에 대해 MDP 를 만족하며, 커널의 모멘트 생성 함수를 통해 속도 함수가 도출된다.
• 모멘트 및 정규 변동 조건 하에서, 초과값 $\sup_{x \in U} v_n |\Psi_n(x)| \geq \delta$ 의 균일 LDP 가 수립되며, 상한 경계는 $\limsup \frac{\gamma_n v_n^2}{h_n^d} \log \mathbb{P}(\cdots) \leq -\frac{\beta}{\beta + d} \tilde{g}_U(\delta)$ 로 주어진다.
• 균일 MDP 의 속도 함수는 $w_n = \exp(b h_n^d / (\gamma_n v_n^2))$ 를 사용한 지수 모멘트 경계와 꼬리 제어를 조합하여 날카롭게 유도된다.
• 결과적으로, 분산 최소화 스텝사이즈를 갖는 재귀 추정기는 비재귀적 Rosenblatt 추정기와 동일한 대규모 및 중간 규모의 편차 행동을 점별 및 균일 영역 모두에서 물려받는다.