[논문 리뷰] Large and moderate deviations principles for recursive kernel estimators of a multivariate density and its partial derivatives

Abdelkader Mokkadem, Mariane Pelletier외 1명|arXiv (Cornell University)|2006. 01. 18.

Statistical Methods and Inference참고 문헌 12인용 수 5

한 줄 요약

이 논문은 다변량 확률 밀도 및 그 부분 도함수의 재귀 커널 추정기의 대편차 원리(LDP)와 중간편차 원리(MDP)를 수립한다. 밀도 추정기의 경우 LDP 하에서 비제곱형 속도 함수를 보이지만, 도함수 추정기의 경우 LDP 및 MDP 모두에서 제곱형 속도 함수를 나타내며, 이는 대역폭 수열과 커널 성질에 따라 명시적인 속도 및 속도 함수 표현을 포함한다.

ABSTRACT

In this paper we prove large and moderate deviations principles for the recursive kernel estimator of a probability density function and its partial derivatives. Unlike the density estimator, the derivatives estimators exhibit a quadratic behavior not only for the moderate deviations scale but also for the large deviations one. We provide results both for the pointwise and the uniform deviations.

연구 동기 및 목표

• 다변량 확률 밀도의 재귀 커널 추정기의 대편차 원리(LDP)와 중간편차 원리(MDP)를 유도하기 위해.
• 특히 다양한 대역폭 수열에서 도함수 추정기의 점근적 행동, 특히 편차 성질을 분석하기 위해.
• 재귀 추정의 맥락에서 점별 및 균일 편차에 대한 속도 함수를 특성화하기 위해.
• 기존의 Rosenblatt 커널 추정기 결과를 비.i.i.d. 갱신 동역학을 갖는 재귀 커널 추정기로 확장하기 위해.

제안 방법

• 특정 대역폭 수열 $ h_n = c n^{-a} $, $ a \in (0, 1/d) $ 하에서 재귀 밀도 추정기 $ f_n(x) $ 의 대편차 원리(LDP)를 유도한다.
• 정규적으로 변화하는 대역폭 $ h_n = h(n) $ 를 갖는 도함수 추정기 $ \partial^{[\alpha]}f_n(x) $ 에 대해 LDP 를 수립하며, 지수 $ -a $, $ a \in (0, 1/(d + 2|\alpha|)) $ 를 갖는다.
• 커널 $ K $ 를 포함하는 $ [0,1] \times \mathbb{R}^d $ 위의 적분을 통해 정의된 누산생성함수 $ \psi(u) $ 의 페를레-레지오트르 변환(Fenchel-Legendre transform)을 사용한다.
• 일반적인 대역폭 조건 $ v_n^2 / \sum_i h_i^{d+2|\alpha|} \to 0 $ 하에서 밀도 및 도함수 추정기의 중간편차 원리(MDP)를 증명한다. 여기서 $ v_n \to \infty $ 이다.
• 편미분의 경험 평균이 기대값에서 벗어나는 것을 제어하기 위해 농도 부등식과 균일 적분 가능성 추론을 적용한다.
• 편미분 분석을 위해 재귀 갱신 공식 $ f_n(x) = \frac{n-1}{n}f_{n-1}(x) + \frac{1}{n h_n^d} K\left(\frac{x - X_n}{h_n}\right) $ 을 사용하여 마팅게일 유형의 구조를 도출한다.

실험 결과

연구 질문

• RQ1 다항식 대역폭 감쇠 하에서 재귀 커널 추정기의 다변량 밀도에 대한 대편차 행동은 어떻게 되는가?
• RQ2 재귀 갱신 하에서 도함수 추정기의 속도 함수의 구조는 무엇이며, 밀도 추정기와 어떻게 다를까?
• RQ3 재귀 밀도 추정기가 중간편차 원리를 만족하는 조건은 무엇인가?
• RQ4 밀도 함수 $ f(x) $ 에 따라 도함수 추정기의 속도 함수는 어떻게 달라지며, 특히 $ f(x) = 0 $ 일 경우 어떻게 되는가?
• RQ5 재귀 추정기의 편차 행동은 컴act 집합 전체에 대해 균일하게 특성화될 수 있는가, 아니면 점별로만 가능한가?

주요 결과

• 대역폭 수열 $ h_n = c n^{-a} $ 을 갖는 재귀 밀도 추정기의 경우, 수열 $ f_n(x) - f(x) $ 는 속도 $ \sum_{i=1}^n h_i^d $ 와 속도 함수 $ I_x(t) = f(x)(1 - ad) I\left( \frac{t}{f(x)(1 - ad)} + \frac{1}{1 - ad} \right) $ 를 갖는 대편차 원리를 만족한다. 여기서 $ I $ 는 $ \psi(u) $ 의 페를레-레지오트르 변환이다.
• 도함수 추정기 $ \partial^{[\alpha]}f_n(x) $ 의 경우, $ f(x) \neq 0 $ 일 때 LDP 는 제곱형 속도 함수 $ J_{[\alpha],x}(t) = \frac{t^2 (1 - a^2(d + 2|\alpha|)^2)}{2f(x) \int_{\mathbb{R}^d} [\partial^{[\alpha]}K(z)]^2 dz} $ 를 갖는다. 반면 $ f(x) = 0 $ 이면 $ t \neq 0 $ 에 대해 $ J_{[\alpha],x}(t) = \infty $ 이다.
• 조건 $ \lim_{n \to \infty} \frac{v_n^2}{\sum_{i=1}^n h_i^{d+2|\alpha|}} = 0 $ 하에서 밀도 및 도함수 추정기의 MDP 가 성립하며, 속도는 $ \sum_{i=1}^n h_i^{d+2|\alpha|} $ 이다.
• 밀도 추정기의 속도 함수는 비제곱형이며, $ s \in [0,1] $ 과 $ z \in \mathbb{R}^d $ 를 포함하는 적분을 포함하는 누산생성함수 $ \psi(u) $ 에 명시적으로 의존한다.
• $ f(x) \neq 0 $ 이면 속도 함수 $ J_{[\alpha],x}(t) $ 는 $ (0, \infty) $ 에서 엄밀히 볼록하고 미분 가능하며, 최소값이 $ t = 0 $ 에서 유일하게 존재한다.
• 분석 결과, 도함수 추정기는 밀도 추정기와 달리 대편차 및 중간편차 모두에서 제곱형 행동을 보이며, 밀도 추정기는 더 복잡한 비제곱형 속도 함수를 갖는다.