[논문 리뷰] Pruning nearest neighbor cluster trees

Samory Kpotufe, Ulrike von Luxburg|arXiv (Cornell University)|2011. 05. 03.

Data Management and Algorithms참고 문헌 13인용 수 30

한 줄 요약

이 논문은 유한 표본 설정에서 임의의 잡음 클러스터를 제거하면서도 중요한 클러스터를 유지하는 k-최근접 이웃(k-NN) 그래프를 위한 새로운 프루닝 방법을 제안한다. 점점 증가하는 k-NN 반경 순서로 점을 반복적으로 제거함으로써, 일致하고 중첩된 하위그래프 계층을 구성하며, 이는 기저 데이터 분포의 진짜 클러스터 트리를 신뢰성 있게 추정한다. 본 논문은 클러스터링 분야에서 클러스터 트리 복원에 대해 유한 표본 보장을 제공하는 최초의 논문이다.

ABSTRACT

Nearest neighbor (k-NN) graphs are widely used in machine learning and data mining applications, and our aim is to better understand what they reveal about the cluster structure of the unknown underlying distribution of points. Moreover, is it possible to identify spurious structures that might arise due to sampling variability? Our first contribution is a statistical analysis that reveals how certain subgraphs of a k-NN graph form a consistent estimator of the cluster tree of the underlying distribution of points. Our second and perhaps most important contribution is the following finite sample guarantee. We carefully work out the tradeoff between aggressive and conservative pruning and are able to guarantee the removal of all spurious cluster structures at all levels of the tree while at the same time guaranteeing the recovery of salient clusters. This is the first such finite sample result in the context of clustering.

연구 동기 및 목표

• 표본 변동성으로 인해 발생하는 k-NN 그래프 내의 잡음 클러스터를 식별하고 제거하는 데 도전하는 것.
• 모든 수준의 클러스터 트리에서 잡음 클러스터를 보장하는 유한 표본 프루닝 절차를 개발하는 것.
• 제한된 데이터 조건에서도 중요한 진짜 클러스터가 프루닝 과정 동안 유지됨을 보장하는 것.
• 단순한 프루닝 규칙과 k-NN 그래프만을 사용하여 기저 클러스터 트리의 일致 추정자 제공.
• 기저 밀도에 대한 사전 지식이 없어도, 그 값의 상한만 안다면 이론적 보장을 확립하는 것.

제안 방법

• 기저 밀도 f로부터 유한한 i.i.d. 표본으로부터 k-NN 그래프를 구축한다.
• k-NN 반경(제k번째 가장 가까운 이웃까지의 거리)이 작은 순서로 점을 반복적으로 제거함으로써 그래프를 프루닝한다.
• 각 수준이 k-NN 반경에 대한 임계값 λ에 해당하는 수준 기반 프루닝 체계를 사용하여, 중첩된 하위그래프 계층을 형성한다.
• 중심이 되는 '연결성' 보조정리를 활용하여, 프루닝된 그래프 내 연결 성분이 기저 밀도 f의 진짜 수준 집합과 대응됨을 보여준다.
• 유한 표본 농도 경계를 적용하여 경험적 밀도 추정치와 진짜 밀도 추정치 간의 이탈을 통제함으로써 강건성을 확보한다.
• 표본 크기 n과 차원 d에 기반하여, 공격적인 프루닝과 진짜 클러스터 손실 사이의 균형을 이루는 튜닝 파라미터(예: k 및 프루닝 임계값)를 유도한다.

실험 결과

연구 질문

• RQ1 유한 표본에서 k-NN 그래프를 프루닝함으로써 모든 잡음 클러스터를 보장할 수 있는가?
• RQ2 프루닝된 k-NN 그래프가 기저 밀도의 진짜 클러스터 트리 추정자로 일관되게 유지되기 위한 조건은 무엇인가?
• RQ3 밀도에 대한 사전 지식 없이도, 잡음 제거를 위한 공격적 프루닝과 진짜 클러스터 유지의 보수적 프루닝 사이의 균형을 어떻게 맞출 수 있는가?
• RQ4 모든 남아 있는 클러스터가 기저 밀도의 실제 수준 집합과 대응됨을 보장하는 유한 표본 보장이 존재하는가?
• RQ5 간단한 기하학적 직관(점 간 연결성)에 기반하여, 이 프루닝 절차를 k-NN 그래프 외에도 일반적으로 적용할 수 있는가?

주요 결과

• 프루닝 절차는 남아 있는 모든 클러스터가 진짜 밀도 f의 어떤 수준 집합의 연결 성분과 대응됨을 보장하므로, 모든 잡음 클러스터가 제거됨을 보장한다.
• 표본 크기 n과 차원 d에 관계없이, 본 방법은 중요한 클러스터를 유지하며, 표본 크기 n이 증가할수록 복원 정도가 향상됨을 보장한다.
• 이 방법은 k-NN 그래프 맥락에서 클러스터 트리 복원에 대해 유한 표본 보장을 제공하는 최초의 방법으로, log n ≲ k ≲ n^{1/O(d)} 를 만족하는 다양한 k 값에 대해 유효하다.
• 연결성 보조정리는, 두 점이 같은 진짜 연결 성분에 속해 있고 충분히 가까이 있다면, 그들의 k-NN 반경이 충분히 작을 경우 프루닝된 그래프에서도 여전히 연결되어 있음을 보여준다.
• 고확률(적어도 1−3δ)로, 프루닝된 그래프 내 이격된 성분들은 진짜 그래프에서도 이격되어 있음을 보장한다. 이는 경험적 밀도 추정치가 충분히 정확할 경우에 성립한다.
• 본 방법은 진짜 밀도를 알 필요 없이 그 값의 상한만 안다면 되므로, 실세계 적용에 실용적이다.