[논문 리뷰] Stability of Density-Based Clustering

Alessandro Rinaldo, Aarti Singh외 2명|arXiv (Cornell University)|2010. 11. 11.

Advanced Clustering Algorithms Research참고 문헌 31인용 수 52

한 줄 요약

이 논문은 커널 밀도 추정을 기반으로 한 수준 집합과 군집 트리에 대한 두 가지 불안정성 측도—Ξn(h)과 Γn(h)—를 도입하고 분석하여 밀도 기반 군집화의 밴드위드 선택에 대한 민감도를 평가한다. 이들은 이러한 측도에 대한 이론적 경계를 확립하여 Γn(h)가 Ξn(h)보다 더 안정적이고 다룰 수 있음을 보이며, 전체 변동 기반의 밴드위드 선택 방법을 제안하여 데이터 부분집합 간에 일관된 군집 구조를 보장한다.

ABSTRACT

High density clusters can be characterized by the connected components of a level set <em>L(λ) = {x: p(x)&gt;λ}</em> of the underlying probability density function <em>p</em> generating the data, at some appropriate level <em>λ ≥ 0</em>. The complete hierarchical clustering can be characterized by a cluster tree <em>T= ∪_λL(λ)</em>. In this paper, we study the behavior of a density level set estimate <em>L̂(λ)</em> and cluster tree estimate <em>T̂</em> based on a kernel density estimator with kernel bandwidth <em>h</em>. We define two notions of instability to measure the variability of <em>L̂(λ)</em> and <em>T̂</em> as a function of <em>h</em>, and investigate the theoretical properties of these instability measures.

연구 동기 및 목표

• 커널 밴드위드 h에 대한 밀도 기반 군집화의 불안정성을 수학적 함수로 정식화하기.
• 밀도에 대한 정규성 조건 하에서 불안정성 측도 Ξn(h)과 Γn(h)에 대한 이론적 경계 개발.
• 전체 변동 안정성에 기반한 구축 가능한 밴드위드 선택 절차 제공.
• Γn(h)가 다양한 밴드위드에서 Ξn(h)보다 더 단순하고 안정적인 것으로 관찰되는 이유 설명.
• 고밀도 군집 탐지에서 이론적 안정성과 실용적 군집 매개변수 선택 간의 다리를 놓기.

제안 방법

• 밴드위드 h를 사용한 커널 밀도 추정을 기반으로 수준 집합 추정자 bL(λ)과 군집 트리 추정자 bT 정의.
• Ξn(h)을 두 개의 독립된 데이터 부분집합에서 추정한 수준 집합 간의 기대 대칭 차이로 정의.
• Γn(h)을 밀도 추정 간 전체 변동 거리 기반의 글로벌 불안정성 측도로 제안.
• 베르누이의 부등식과 경험 과정 이론을 사용하여 Ξn(h)의 농도 부등식 유도.
• 리프시츠 조건과 국소 밀도 정규성 가정(A1, A2) 하에서 Ξn(h)과 Γn(h)의 경계 확립.
• 베르니에-에세른 경계와 도네스커 클래스 성질을 활용하여 불안정성 측도의 渐近적 행동 유도.

실험 결과

연구 질문

• RQ1 밀도 기반 수준 집합의 불안정성은 커널 밴드위드 h에 따라 어떻게 변하는가?
• RQ2 왜 글로벌 불안정성 측도 Γn(h)는 국소 측도 Ξn(h)보다 더 단순하고 안정적인가?
• RQ3 전체 변동 기반 불안정성은 군집화를 위한 구축 가능한 밴드위드 선택 규칙으로 이어질 수 있는가?
• RQ4 커널 밀도 추정 하에서 군집 트리 추정의 안정성에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ5 다양한 밀도 정규성 조건 하에서 불안정성 측도는 어떻게 행동하는가?

주요 결과

• Ξn(h)는 밴드위드에 따라 복잡하고 비단조화적인 행동을 보이며, 실무에서의 불안정성을 설명한다.
• Γn(h)는 Ξn(h)보다 훨씬 매끄럽고 예측 가능하여 밴드위드 선택에 적합하다.
• 정규성 조건 하에서 n → ∞ 및 h → 0일 때 Ξn(h)과 Γn(h)가 모두 0으로 수렴함을 이론적으로 보여준다.
• Γn(h)는 밀도 추정 오차의 L∞-노름에 의해 경계지어지며, 경험 과정 이론을 통해 농도 경계를 도출할 수 있다.
• A1과 A2 조건 하에서 Ξn(h)는 P(Uh,2˜ϵ,α)Ah,ϵ,α + C(h,ϵ,n)로 경계지어지며 오차 항에 명시적인 제어가 가능하다.
• 전체 변동 불안정성 측도는 데이터 부분집합 간에 안정된 군집을 보장하는 밴드위드 선택 규칙으로 이어진다.