[논문 리뷰] Mode-Seeking Clustering and Density Ridge Estimation via Direct Estimation of Density-Derivative-Ratios

Hiroaki Sasaki, Takafumi Kanamori외 3명|arXiv (Cornell University)|2017. 07. 06.

Yersinia bacterium, plague, ectoparasites research참고 문헌 55인용 수 3

한 줄 요약

이 논문은 전통적인 3단계 밀도 추정 방식을 회피하는 직접 추정기인 밀도 도함수 비율에 대한 추정을 제안하며, 모드 탐색 클러스터링과 밀도 릿지 추정에 적용한다. 이 방법은 중간 단계의 밀도 도함수 추정에서 발생하는 오차 전파를 피함으로써 수렴 속도를 향상시키고, 특히 고차원 설정에서 기존 방법들을 능가한다.

ABSTRACT

Modes and ridges of the probability density function behind observed data are useful geometric features. Mode-seeking clustering assigns cluster labels by associating data samples with the nearest modes, and estimation of density ridges enables us to find lower-dimensional structures hidden in data. A key technical challenge both in mode-seeking clustering and density ridge estimation is accurate estimation of the ratios of the first- and second-order density derivatives to the density. A naive approach takes a three-step approach of first estimating the data density, then computing its derivatives, and finally taking their ratios. However, this three-step approach can be unreliable because a good density estimator does not necessarily mean a good density derivative estimator, and division by the estimated density could significantly magnify the estimation error. To cope with these problems, we propose a novel estimator for the \emph{density-derivative-ratios}. The proposed estimator does not involve density estimation, but rather \emph{directly} approximates the ratios of density derivatives of any order. Moreover, we establish a convergence rate of the proposed estimator. Based on the proposed estimator, novel methods both for mode-seeking clustering and density ridge estimation are developed, and the respective convergence rates to the mode and ridge of the underlying density are also established. Finally, we experimentally demonstrate that the developed methods significantly outperform existing methods, particularly for relatively high-dimensional data.

연구 동기 및 목표

• 밀도를 추정하고, 그 도함수를 추정하고, 그 비율을 추정하는 전통적인 3단계 방법에서 발생하는 추정 오차가 누적되는 불안정성 문제를 해결하기 위해.
• 밀도 추정을 명시적으로 수행하지 않고도 밀도 도함수의 비율을 직접 추정하는 방법을 개발하기 위해.
• 제안된 추정기의 이론적 수렴 속도를 확립하고, 클러스터링 및 릿지 추정에의 응용을 다루기 위해.
• 특히 고차원 데이터에서의 성능 향상을 위해 모드 탐색 클러스터링 및 밀도 릿지 추정의 성능을 향상시키기 위해.
• 기존 최첨단 기법들과 비교하여 제안된 방법의 경험적 우수성을 입증하기 위해.

제안 방법

• 재생 커널 힐버트 공간(RKHS) 내에서 커널 기반 접근법을 사용하여 임의의 차수의 밀도 도함수 비율을 직접 추정한다.
• 밀도 추정을 생략함으로써 3단계 과정을 피하고 오차 전파를 감소시킨다.
• RKHS의 재생 성질을 활용하여 커널 도함수와의 내적을 통해 도함수 비율을 근사한다.
• 밀도와 커널에 대한 규칙성 조건 하에서 제안된 추정기의 수렴 속도를 확립한다.
• 하향 경사법을 사용하여 추정된 모드로 향하는 기반으로 모드 탐색 클러스터링에 적용하고, 부분공간 제약 조건 하에서 투영된 경사법을 사용하여 밀도 릿지 추정에 적용한다.
• 계산 비용을 줄이면서도 정확도를 유지하기 위해 커널 중심을 활용한 저랭크 근사를 도입한다.

실험 결과

연구 질문

• RQ1 간접적인 3단계 방법에 비해 직접적인 밀도 도함수 비율 추정이 모드 탐색 클러스터링과 릿지 추정의 신뢰성 향상에 기여할 수 있는가?
• RQ2 제안된 직접 추정기의 밀도 도함수 비율에 대한 이론적 수렴 속도는 무엇인가?
• RQ3 기존 방법이 종종 실패하는 고차원 데이터에서 제안된 방법의 성능은 어떠한가?
• RQ4 클러스터링 또는 릿지 추정 정확도를 손상시키지 않고 계산 비용을 줄일 수 있는가?
• RQ5 실제 데이터 및 시뮬레이션 데이터에서 제안된 방법이 기존 최첨단 기법들보다 더 뛰어난 성능을 보이는가?

주요 결과

• 제안된 밀도 도함수 비율에 대한 직접 추정기는 $ O_P(n^{-\text{min}\big\{1/4, \frac{\nu}{2(\nu+1)}\big\}}}) $ 의 수렴 속도를 달성한다. 여기서 $ \nu $ 는 부드러움 파라미터이다.
• 실험을 통해 고차원 데이터에서 기존 방법들에 비해 모드 탐색 클러스터링에서 뚜렷한 성능 향상을 보였다. 3개의 가우시안 블롭 데이터셋을 대상으로 한 결과가 이를 뒷받침한다.
• 밀도 릿지 추정에 있어서, 노이즈가 많고 고차원적인 환경에서도 낮은 차원의 구조를 정확히 복원할 수 있었다.
• 저랭크 근사(LSLDGC)는 커널 중심의 수를 적게 유지하면서도 계산 비용을 크게 줄였고, 클러스터링 성능에 거의 영향을 주지 않았다.
• 경험적 결과는 노이즈에 대해 강건하며 다양한 데이터 분포와 차원에서 높은 정확도를 유지함을 보여주었다.
• 이론적 분석을 통해 기존 방법의 핵심한 한계인 추정된 밀도로 나누는 과정에서 오차가 누적되는 것을 방지함을 확인하였다.