[논문 리뷰] Kernel Density Estimation for Dynamical Systems

Hanyuan Hang, Ingo Steinwart외 2명|arXiv (Cornell University)|2016. 07. 13.

Statistical Methods and Inference참고 문헌 39인용 수 3

한 줄 요약

이 논문은 관측값이 종속적인 동역학계에서 커널 밀도 추정의 보편적 일致성과 수렴 속도를 $C$-혼합 계수를 사용하여 모델링함으로써 확립한다. 밀도에 대한 약한 허들러 연속성 가정 하에, 커널 추정기는 고도로 확률적으로 최적의 $L_1$ 및 $L_∞$ 수렴 속도를 달성하며, 관측값이 i.i.d.가 아니더라도 가능하다. 이는 커버링 수와 베르누이 타입 부등식을 조합한 새로운 분석을 통해 달성된다.

ABSTRACT

We study the density estimation problem with observations generated by certain dynamical systems that admit a unique underlying invariant Lebesgue density. Observations drawn from dynamical systems are not independent and moreover, usual mixing concepts may not be appropriate for measuring the dependence among these observations. By employing the $\mathcal{C}$-mixing concept to measure the dependence, we conduct statistical analysis on the consistency and convergence of the kernel density estimator. Our main results are as follows: First, we show that with properly chosen bandwidth, the kernel density estimator is universally consistent under $L_1$-norm; Second, we establish convergence rates for the estimator with respect to several classes of dynamical systems under $L_1$-norm. In the analysis, the density function $f$ is only assumed to be Hölder continuous which is a weak assumption in the literature of nonparametric density estimation and also more realistic in the dynamical system context. Last but not least, we prove that the same convergence rates of the estimator under $L_\infty$-norm and $L_1$-norm can be achieved when the density function is Hölder continuous, compactly supported and bounded. The bandwidth selection problem of the kernel density estimator for dynamical system is also discussed in our study via numerical simulations.

연구 동기 및 목표

• 표준 혼합 가정이 실패하는 동역학계에서 관측값이 비.i.i.d.인 경우 커널 밀도 추정에 도전하는 문제를 다루다.
• 유일한 불변 르베그 밀도를 가지는 동역학계에서 관측값이 유래하는 상황에서 밀도 추정을 위한 통계적 프레임워크를 개발하다.
• $\nC$-혼합 종속성 구조 하에서 일치성과 수렴 속도를 확립하다. 이는 전통적인 $\nalpha$- 또는 $\nbeta$-혼합보다 일부 동역학계에 더 적합하다.
• 진짜 밀도에 대한 약한 정규성 조건(허들러 연속성) 하에서 $L_1$ 및 $L_∞$ 노름의 수렴 속도를 제공하다.
• 수치 시뮬레이션을 통한 대역폭 선택을 조사하여 동역학계 맥락에서의 실용적 구현을 뒷받침하다.

제안 방법

• $\nC$-혼합 계수를 사용해 동역학계에 의해 생성된 관측값 간의 종속성을 정량화하며, 전통적인 혼합 개념을 대체하다.
• $\nC$-혼합 하에서 경험 추정기의 기대값에서의 이탈을 제어하기 위해 베르누이 타입의 지수 부등식을 사용하다.
• 함수 클래스의 엔트로피를 유계하기 위해 커버링 수 논리를 적용하여 균일 수렴 분석을 가능하게 하다.
• $L_1$-오차를 편향과 분산 성분으로 분해하며, 편향은 허들러 연속성으로 제어하고, 분산은 농도 부등식으로 제어하다.
• 지역 밀도 추정을 포함하는 두 단계 근사 방법에서 대역폭 $h_n$과 반경 $r_n$을 최적화함으로써 수렴 속도를 도출하다.
• 밀도가 컴팩트 지지, 유계성, 허들러 연속성을 만족할 경우, $L_1$ 및 $L_∞$ 수렴 속도가 동등함을 증명하다.

실험 결과

연구 질문

• RQ1 관측값이 종속적이며 동역학계에 의해 생성될 경우, 커널 밀도 추정이 $L_1$-노름에서 보편적으로 일치할 수 있는가?
• RQ2 $\nC$-혼합 종속성 하에서 커널 밀도 추정기의 수렴 속도는 특히 $L_1$ 및 $L_∞$ 노름에서 어떻게 되는가?
• RQ3 진짜 밀도의 정규성 특성(예: 허들러 연속성)은 커널 추정기의 수렴 속도에 어떤 영향을 미치는가?
• RQ4 컴팩트 지지 및 유계성과 같은 약한 가정 하에서 $L_1$ 및 $L_∞$ 노름에서 동일한 수렴 속도를 달성할 수 있는가?
• RQ5 실제로 동역학계에서의 커널 밀도 추정에 대응하여 대역폭 매개변수를 어떻게 선택해야 하는가?

주요 결과

• 적절한 대역폭 $h_n$ 선택 하에, $\nC$-혼합 조건 하에서 $L_1$-노름에서 커널 밀도 추정기는 보편적으로 일치한다.
• 기하학적으로 시간 반전된 $\nC$-혼합을 가지며, 허들러 연속성 밀도를 가진 동역학계의 경우, $L_1$-노름에서의 수렴 속도는 고도로 확률적으로 $O\bigl(\bigl((\text{log } n)^{(2+\nu)/\nu}\bigr)/n\bigr)^{\frac{\nu\theta}{(1+\theta)(2\nu+d)-\nu}}$이다.
• 밀도가 유계이며, 컴팩트 지지되고, 허들러 연속성일 경우, 동일한 수렴 속도가 $L_1$ 및 $L_∞$ 노름 모두에서 달성된다.
• $\nC$-혼합 계수의 지수 감쇠가 성립할 경우, $L_1$-노름에서의 수렴 속도는 $O\bigl(\bigl((\text{log } n)^{(2+\nu)/\nu}\bigr)/n\bigr)^{\frac{\nu}{2\nu+d}}(\text{log } n)^{\frac{d}{\theta}\frac{\nu+d}{2\nu+d}}$이다.
• $L_1$-노름의 최적 수렴 속도를 달성하는 대역폭 $h_n$은 $h_n = \bigl((\text{log } n)^{(2+\nu)/\nu}/n\bigr)^{\frac{1}{2\nu+d}}$로 명시적으로 유도된다.
• 수치 시뮬레이션은 제안된 대역폭 선택 전략이 실질적으로 안정적이고 정확한 밀도 추정을 제공함을 시사하며, 이는 실제 동역학계 적용에의 활용을 뒷받침한다.