[논문 리뷰] The Gram-Charlier A Series based Extended Rule-of-Thumb for Bandwidth Selection in Univariate and Multivariate Kernel Density Estimations

Dharmani Bhaveshkumar C|arXiv (Cornell University)|2015. 04. 03.

Statistical Methods and Inference참고 문헌 10인용 수 5

한 줄 요약

이 논문은 비정규분포에 가까운 밀도를 보다 정확히 근사하기 위해 그람-샤리에르 A(GCA) 급수 전개를 사용하여 단변량 및 다변량 커널 밀도 추정(KDE)의 대역폭 선택을 위한 확장된 경험칙(ExROT)을 제안한다. 이는 고전적 경험칙(ROT)이 정확한 정규성 가정을 하는 데 반해, ExROT은 근사 정규성 가정을 통해 더 나은 근사치를 제공한다. 이 방법은 계산 효율성이 ROT와 유사하고 플러그인 규칙보다 훨씬 뛰어나며, 텐서 미적분을 피하기 위해 크로네커乘법과 벡터 미분 연산자를 사용한 벡터화된 미적분을 통해 다변량 AMISE 표현을 유도한다.

ABSTRACT

The article derives a novel Gram-Charlier A (GCA) Series based Extended Rule-of-Thumb (ExROT) for bandwidth selection in Kernel Density Estimation (KDE). There are existing various bandwidth selection rules achieving minimization of the Asymptotic Mean Integrated Square Error (AMISE) between the estimated probability density function (PDF) and the actual PDF. The rules differ in a way to estimate the integration of the squared second order derivative of an unknown PDF $(f(\cdot))$, identified as the roughness $R(f''(\cdot))$. The simplest Rule-of-Thumb (ROT) estimates $R(f''(\cdot))$ with an assumption that the density being estimated is Gaussian. Intuitively, better estimation of $R(f''(\cdot))$ and consequently better bandwidth selection rules can be derived, if the unknown PDF is approximated through an infinite series expansion based on a more generalized density assumption. As a demonstration and verification to this concept, the ExROT derived in the article uses an extended assumption that the density being estimated is near Gaussian. This helps use of the GCA expansion as an approximation to the unknown near Gaussian PDF. The ExROT for univariate KDE is extended to that for multivariate KDE. The required multivariate AMISE criteria is re-derived using elementary calculus of several variables, instead of Tensor calculus. The derivation uses the Kronecker product and the vector differential operator to achieve the AMISE expression in vector notations. There is also derived ExROT for kernel based density derivative estimator.

연구 동기 및 목표

• 모르는 밀도가 정확히 정규분포임을 가정하는 고전적 경험칙(ROT)보다 더 정확한 커널 밀도 추정을 위한 대역폭 선택 규칙을 개발하는 것.
• 그람-샤리에르 A(GCA) 급수 전개를 통해 더 민감한 근사 정규성 가정을 도입함으로써 진짜 밀도의 두 번째 도함수의 난이도($R(f''(\.))$) 추정에서의 편향을 줄이는 것.
• 단변량 ExROT를 다변량 KDE로 확장하기 위해 기본적인 다변수 미적분을 사용하며, 텐서 미적분을 피하기 위해 크로네커乘법과 벡터 미분 연산자 체계를 활용하는 것.
• 커널 기반 다변량 밀도 도함수 추정을 위한 해당 ExROT를 유도함으로써 도함수 추정 과제에서의 정확도를 향상시키는 것.
• 계산 효율성과 추정 정확도 사이의 균형을 이루며, 해를 구하는 플러그인 규칙보다 빠르고 다양한 비정규분포에서 IMSE 측면에서 ROT를 능가하는 방법을 제공하는 것.

제안 방법

• 근사 정규성 가정 하에 모르는 밀도를 그람-샤리에르 A(GCA) 급수로 전개하여, ROT에서 사용하는 정규분포 가정보다 더 정확한 진짜 밀도 근사를 위한 고차수 모멘트를 포함하는 것.
• 벡터 표기법과 벡터 미분 연산자의 크로네커乘법을 사용하여 다변량 KDE의 점근 평균 적분 제곱오차(AMISE)를 유도하며, 텐서 미적분을 피하는 것.
• 다변수 함수의 고차수 편도함수를 간결한 벡터화된 형태로 체계적으로 표현하기 위해 K-도함수 연산자($\mathbf{D}_{\boldsymbol{\lambda}}^{\otimes}$)를 사용하는 것.
• K-도함수 연산자의 스케일링 및 체인 룰 성질을 활용하여, AMISE 유도 과정에서 다변수 에르미트 다항식과 GCA 전개를 포함한 표현을 단순화하는 것.
• 유도된 AMISE 표현을 바탕으로 $R(f''(\cdot))$를 GCA 전개에서 유도된 모멘트를 통해 추정함으로써 ROT의 정규분포 플러그인을 대체함으로써 ExROT를 도출하는 것.
• 유사한 벡터화된 미적분 체계를 사용하여 다변량 밀도 도함수 추정을 위한 AMISE와 대역폭 규칙을 유도함으로써 ExROT를 다변량 도함수 추정으로 확장하는 것.

실험 결과

연구 질문

• RQ1 GCA 급수를 통한 더 민감한 근사 정규성 가정을 기반으로 한 대역폭 선택 규칙이 단변량 KDE의 IMSE 측면에서 고전적 경험칙(ROT)을 향상시킬 수 있는가?
• RQ2 텐서 미적분에 의존하지 않고도 계산 가능하게 다변량 AMISE를 어떻게 도출할 수 있는가?
• RQ3 GCA 전개에서 유도된 고차수 모멘트를 사용할 경우 다변량 KDE의 대역폭 선택 정확도에 어떤 영향을 미치는가?
• RQ4 ExROT 프레임워크를 계산 비용은 유사하면서도 정확도가 향상된 커널 기반 밀도 도함수 추정으로 확장할 수 있는가?
• RQ5 비정규분포에 걸쳐서 ExROT는 해를 구하는 플러그인 규칙과 비교해 계산 복잡도와 추정 오차 측면에서 어떻게 성능을 냈는가?

주요 결과

• ExROT는 비정규성, 비대칭성, 꼬리가 두꺼운, 이상치에 민감한 분포를 포함한 다양한 비정규 단모드 분포에서 고전적 ROT보다 유의미하게 낮은 통합 평균 제곱오차(IMSE)를 달성한다.
• ExROT는 고전적 ROT와 유사한 계산 복잡도를 유지하므로 대규모 또는 실시간 응용에 적합하다.
• Empirical 시뮬레이션을 통해 다양한 데이터 유형에서 MISE 성능 측면에서 ROT를 능가함을 확인하였으며, 일관된 향상이 이루어짐을 입증하였다.
• 크로네커乘법과 벡터 미분 연산자를 사용함으로써 다변량 AMISE의 깔끔한 벡터화된 유도가 가능해졌으며, 텐서 미적분의 복잡성을 피하면서도 수학적 엄밀성을 유지하였다.
• 다변량 밀도 도함수 추정을 위한 ExROT는 성공적으로 도출되었고, 계산 효율성이 뛰어나 프레임워크를 도함수 추정 과제로 확장하는 데 기여하였다.
• GCA 기반의 누적모멘트를 통한 모르는 밀도 근사화는 $R(f''(\cdot))$ — 두 번째 도함수의 난이도 — 의 더 정확한 추정을 가능하게 하여 최적의 대역폭 선택에 핵심적인 영향을 미쳤다.