[논문 리뷰] Data clustering based on Langevin annealing with a self-consistent potential

Kyle J. Lafata, Zhennan Zhou외 2명|arXiv (Cornell University)|2018. 06. 20.

Complex Network Analysis Techniques참고 문헌 39인용 수 5

한 줄 요약

이 논문은 양자 클러스터링 원리에서 유도된 자기일관 잠재력과 랭글레인 역학을 사용하는 새로운 데이터 클러스터링 알고리즘을 제안한다. 데이터 포인트를 반경 기저 함수 밀도 추정에 의해 형성된 잠재력 우물 안의 입자로 모델링함으로써, 열적 변동을 활용하여 국소 최소값에서 벗어나 전역 잠재력 최소값 주변으로 수렴하는 방식으로 작동하며, 임계 온도 이하에서 립리의 게으니 데이터셋에서 90%의 재현율 점수를 달성한다.

ABSTRACT

This paper introduces a novel data clustering algorithm based on Langevin dynamics, where the associated potential is constructed directly from the data. To introduce a self-consistent potential, we adopt the potential model from the established Quantum Clustering method. The first step is to use a radial basis function to construct a density distribution from the data. A potential function is then constructed such that this density distribution is the ground state solution to the time-independent Schrodinger equation. The second step is to use this potential function with the Langevin dynamics at sub-critical temperature to avoid ergodicity. The Langevin equations take a classical Gibbs distribution as the invariant measure, where the peaks of the distribution coincide with minima of the potential surface. The time dynamics of individual data points lead to different metastable states, which are interpreted as cluster centers. Clustering is therefore achieved when subsets of the data aggregate - as a result of the Langevin dynamics for a moderate period of time - in the neighborhood of a particular potential minimum. While the data points are pushed towards potential minima by the potential gradient, Brownian motion allows them to effectively tunnel through local potential barriers and escape saddle points into locations of the potential surface otherwise forbidden. The algorithm's feasibility is first established based on several illustrating examples and theoretical analyses, followed by a stricter evaluation using a standard benchmark dataset.

연구 동기 및 목표

• 통계 및 양자역학에 뿌리를 둔 동적 클러스터링 방법을 개발하여 고차원 데이터 분석의 강건성을 확보한다.
• 기존 클러스터링 방법에서 발생하는 국소 최소값에 갇히는 문제를 해결하기 위해 확률적 역학을 통한 열적 턨널링을 가능하게 한다.
• 시그마-에프 방정식의 기본 상태를 사용하여 데이터로부터 자기일관 잠재력을 수립함으로써 내재된 데이터 밀도를 반영한다.
• 정량적 클러스터링 지표를 사용하여 실제 기준 데이터셋에서 알고리즘의 성능을 검증한다.
• 온도 및 해상도 파라미터가 클러스터링 결과에 미치는 영향을 탐색한다.

제안 방법

• 반경 기저 함수(RBFs)를 사용하여 데이터 밀도 추정을 수행하여 기본 확률 분포를 모델링한다.
• RBF 밀도가 시간에 의존하지 않는 슈뢰딩거 방정식의 기본 상태 해가 되도록 자기일관 잠재력을 유도한다.
• 감쇠 계수와 곱셈 노이즈를 갖는 2차 랭글레인 역학을 적용하여 잠재력 표면 상의 입자 운동을 시뮬레이션한다.
• 고전적 기브스 분포를 불변 측도로 사용하며, 잠재력의 최소값이 고확률 클러스터 중심에 해당한다.
• 데이터 포인트 위치에서 출발하여 궤적을 확률적으로 진화시켜 잠재력 최소값 근처의 준안정 상태로 집합화한다.
• 탐색과 클러스터링 해상도를 제어하기 위해 온도 $ T $ 와 해상도 $ \varepsilon $ 를 조정하며, $ T_0 $ 는 양자 및 고전 분포의 渐近 일치를 통한 유도를 통해 산정된다.

실험 결과

연구 질문

• RQ1 자기일관 잠재력과 함께 랭글레인 역학을 사용하여 열적 변동을 활용함으로써 고차원 데이터에서 클러스터를 효과적으로 식별할 수 있는가?
• RQ2 온도 $ T $ 와 해상도 $ \varepsilon $ 의 선택이 클러스터링 성능 및 수렴에 어떤 영향을 미치는가?
• RQ3 슈뢰딩거 기반 잠재력 구축이 경험적 데이터로부터 물리적으로 의미 있고 안정적인 클러스터링 지형을 제공할 수 있는가?
• RQ4 립리의 게으니와 같은 기준 데이터셋에서 이 알고리즘이 기존 클러스터링 방법보다 얼마나 뛰어난 성능을 보이는가?
• RQ5 알고리즘의 동적 특성은 어떻게 국소 최소값에서 벗어나고 더 나은 클러스터 분리도를 달성하는가?

주요 결과

• 알고리즘은 $ T = 0.01T_0 $ 와 $ \varepsilon = 1.225 \times 10^{-3} $ 에서 립리의 게으니 데이터셋에서 최대 90%의 재현율 점수를 달성했다.
• 임계 온도 $ T = T_0 $ 에서 재현율 점수는 72%로 떨어졌으며, 이는 임계 온도 이하에서의 동역학이 유리함을 보여준다.
• 가중치 행렬 $ w_{ij} $ 는 시간이 지남에 따라 뚜렷한 대각 블록 구조로 수렴하여 네 개의 명확한 데이터 클래스로 분리됨을 나타냈다.
• 시간에 따라 변화하는 동역학을 통해 알고리즘이 클러스터 경계를 성공적으로 포착하였으며, 중간 시뮬레이션 시간 이후 데이터 포인트들이 잠재력 최소값 주변으로 집합화되었다.
• 슈뢰딩거 방정식을 통한 자기일관 잠재력 구축은 데이터 밀도를 효과적으로 코딩하여 정확한 클러스터 위치 결정을 가능하게 하였다.
• 브라운 운동에 의한 잠재력 장벽 통과 터널링 덕분에 알고리즘이 국소 최소값에 갇히는 데서 강건함을 보였다.