[논문 리뷰] Data-driven density derivative estimation, with applications to nonparametric clustering and bump hunting

José E. Chacón, Tarn Duong|arXiv (Cornell University)|2012. 04. 27.

Bayesian Methods and Mixture Models참고 문헌 75인용 수 80

한 줄 요약

이 논문은 다변량 커널 밀도 도수 추정기의 완전 자동, 데이터 기반의 대역폭 선택기들을 처음으로 제안하며, 고급 행렬 해석 이론을 활용하여 효율적이고 제약 없는 대역폭 행렬 선택을 가능하게 한다. 제안된 방법들—교차검증(CV), 플러그인(PI), 스무딩된 교차검증(SCV)—는 최적의 수렴 속도를 달성하고 정확한 도함수 및 헤시안 추정을 통해 비모수적 군집화와 버블 헌팅 성능을 크게 향상시킨다.

ABSTRACT

Important information concerning a multivariate data set, such as clusters and modal regions, is contained in the derivatives of the probability density function. Despite this importance, nonparametric estimation of higher order derivatives of the density functions have received only relatively scant attention. Kernel estimators of density functions are widely used as they exhibit excellent theoretical and practical properties, though their generalization to density derivatives has progressed more slowly due to the mathematical intractabilities encountered in the crucial problem of bandwidth (or smoothing parameter) selection. This paper presents the first fully automatic, data-based bandwidth selectors for multivariate kernel density derivative estimators. This is achieved by synthesizing recent advances in matrix analytic theory which allow mathematically and computationally tractable representations of higher order derivatives of multivariate vector valued functions. The theoretical asymptotic properties as well as the finite sample behaviour of the proposed selectors are studied. {In addition, we explore in detail the applications of the new data-driven methods for two other statistical problems: clustering and bump hunting. The introduced techniques are combined with the mean shift algorithm to develop novel automatic, nonparametric clustering procedures which are shown to outperform mixture-model cluster analysis and other recent nonparametric approaches in practice. Furthermore, the advantage of the use of smoothing parameters designed for density derivative estimation for feature significance analysis for bump hunting is illustrated with a real data example.

연구 동기 및 목표

• 다변량 커널 밀도 도수 추정에서의 대역폭 선택 문제는 이론적으로 중요하지만 실용적 적용을 저해해 왔던 오랜 도전 과제를 해결한다.
• 임의의 순서의 밀도 도수 추정을 위한 완전 자동, 데이터 기반의 대역폭 선택기를 개발하여 이전 연구의 수학적 비가역성으로 인한 제약을 극복한다.
• 도수 추정에 맞는 신뢰할 수 있고 데이터 적응적인 스무딩 파rameter를 제공하여 비모수적 군집화와 버블 헌팅의 강건성을 향상시킨다.
• 비제약 대역폭 행렬이 고차수 도수 추정에 특히 유리한 효율성을 보이며, 더 단순한 매개변수화 방식보다 뛰어나다는 것을 입증한다.
• 제안된 선택기의 실용적 유용성을 보장하기 위해 이론적 근거와 유한 표본 검증을 제공한다.

제안 방법

• 고차수 다변량 밀도 도수의 표현을 행렬 해석 도구, 특히 크로네cker tích과 대칭화 행렬을 활용하여 편향과 분산 성분의 다룰 수 있는 표현을 유도한다.
• 비제약 대역폭 행렬을 위한 세 가지 데이터 기반 대역폭 선택기—교차검증(CV), 플러그인(PI), 스무딩된 교차검증(SCV)—를 제안한다.
• 핵 함수의 모멘트 기반 근사와 4차 테일러 전개를 사용하여 평균 통합 제곱오차(MISE) 및 그 추정기의 渐近 전개를 유도한다.
• 대역폭 선택기의 수렴을 분석하기 위해 행렬 미분 연산자 DH를 사용하며, 대역폭 행렬의 벡터화 형태를 통해 선택기의 편향을 MISE 최소화자와 연결한다.
• 모든 세 가지 선택기가 플러그인 및 스무딩된 CV의 경우 O(n^{-2/(d+2r+6)})의 최적 수렴 속도를 달성하고, CV의 경우 O(n^{-d/(2d+4r+8)})의 속도를 보이며, 이는 이론적 하한선과 일치함을 입증한다.
• 새로운 대역폭 선택기를 평균 이동 알고리즘에 통합하여 기존 혼합 모델 및 기타 비모수적 방법보다 뛰어난 성능을 보이는 새로운 자동 비모수적 군집화 절차를 개발한다.

실험 결과

연구 질문

• RQ1 다변량 커널 밀도 도수 추정기의 완전 자동, 데이터 기반의 대역폭 선택기를 개발할 수 있는가? 이는 이전의 히우리스틱 또는 제약 있는 접근 방식의 한계를 극복할 수 있는가?
• RQ2 더 큰 유연성을 지닌 이 선택기들이 더 단순한 대역폭 매개변수화 방식과 비교해도 최적의 수렴 속도를 달성하는가?
• RQ3 새로운 대역폭 선택기는 기존 방법에 비해 비모수적 군집화와 버블 헌팅 성능을 어떻게 향상시키는가?
• RQ4 제안된 선택기의 유한 표본 행동은 어떠한가? 추정 정확도와 강건성 측면에서 어떻게 비교되는가?
• RQ5 밀도 도수 추정을 위한 최적화된 대역폭을 사용하면, 특히 복잡한 고차원 데이터에서 기능 유의성 탐지 성능이 향상되는가?

주요 결과

• 제안된 데이터 기반 대역폭 선택기(CV, PI, SCV)는 플러그인 및 스무딩된 교차검증 방법에서 최적 수렴 속도인 O(n^{-2/(d+2r+6)})를 달성하며, 이는 이론적 하한선과 일치한다.
• 교차검증 선택기의 수렴 속도는 O(n^{-d/(2d+4r+8)})이며, 최적 속도보다 느리지만 점점 수렴하고 실용적으로 효과적이다.
• 유한 표본 시뮬레이션과 실제 데이터 응용 결과는 새로운 대역폭 선택기가 평균 이동 알고리즘을 통한 비모수적 군집화 성능을 크게 향상시키며, 혼합 모델 및 기타 비모수적 군집화 기법을 능가함을 보여준다.
• 밀도 도수 추정을 위한 맞춤형 대역폭 사용은 흐름 세포 측정 데이터의 실제 사례를 통해 버블 헌팅에서 기능 유의성 분석을 향상시킨다.
• 이론적 분석은 비제약 대역폭 행렬이 고차수 도수 추정에 특히 더 효율적임을 확인하며, 이는 데이터의 진정된 기하학적 구조에 적응할 수 있기 때문이다. 특히 대각선 또는 스칼라 대역폭보다 유리하다.
• 대역폭 행렬 오차의 벡터화 형태 vec(Ĥ - HMISE,r)는 PI 및 SCV의 경우 O(n^{-2/(d+2r+6)})의 속도로 수렴하고, CV의 경우 O(n^{-d/(2d+4r+8)})의 속도로 수렴하며, 표본 수가 유한할 경우 편향이 평균 제곱오차의 주요 기여 요소가 된다.