[논문 리뷰] Efficient Parameter-free Clustering Using First Neighbor Relations

M. Saquib Sarfraz, Vivek Sharma외 1명|arXiv (Cornell University)|2019. 02. 28.

Advanced Clustering Algorithms Research참고 문헌 53인용 수 16

한 줄 요약

이 논문은 거리 임계값, 클러스터 수, 하이퍼파ram터를 요구하지 않는 완전히 파rameter-free인 클러스터링 알고리즘인 FINCH를 제안한다. 첫 번째 이웃 관계를 사용하여 데이터 내 자연스러운 군집을 탐지하며, 거리 임계값, 클러스터 수, 하이퍼파ram터 없이도 작동한다. 첫 번째 이웃 체인을 기반으로 반복적으로 클러스터를 병합함으로써, 고정밀도와 높은 확장성을 달성하여 최대 810만 개의 샘플을 포함한 데이터셋에서 기존 방법들을 능가한다. 계산 복잡도는 O(N log N)을 유지한다.

ABSTRACT

We present a new clustering method in the form of a single clustering equation that is able to directly discover groupings in the data. The main proposition is that the first neighbor of each sample is all one needs to discover large chains and finding the groups in the data. In contrast to most existing clustering algorithms our method does not require any hyper-parameters, distance thresholds and/or the need to specify the number of clusters. The proposed algorithm belongs to the family of hierarchical agglomerative methods. The technique has a very low computational overhead, is easily scalable and applicable to large practical problems. Evaluation on well known datasets from different domains ranging between 1077 and 8.1 million samples shows substantial performance gains when compared to the existing clustering techniques.

연구 동기 및 목표

• 거리 임계값이나 클러스터 수와 같은 사용자 정의 하이퍼파ram터가 필요 없는 클러스터링 알고리즘을 개발하는 것.
• 대규모 데이터셋에 대해 기존 클러스터링 방법의 확장성 한계, 특히 스펙트럼 및 계층적 응집 클러스터링의 한계를 해결하는 것.
• 오직 첫 번째 이웃 정보만을 사용하여 다양한 데이터 도메인에서 자연스럽고 고순도의 클러스터를 탐지하는 것.
• 수백만 개의 샘플을 포함한 실세계 응용에 적합한 효율적이고 빠르며 저오버헤드의 클러스터링을 가능하게 하는 것.
• 데이터셋 크기에 관계없이 빠르게 수렴하는 이론적으로 탄탄한 재귀적 병합 메커니즘을 제공하는 것.

제안 방법

• 알고리즘은 각 데이터 포인트의 첫 번째 이웃을 사용하여 초기 연결된 샘플 체인을 형성하는 단일 클러스터링 식에 기반한다.
• 각 샘플이 자신의 첫 번째 이웃과 연결되며, 반복적인 병합을 통해 클러스터를 형성하는 재귀적 응집 병합 과정을 활용한다.
• 전체 쌍방향 거리 행렬을 계산하지 않아 계산 복잡도를 O(N log N)으로 감소시키고 메모리 사용량을 O(N)으로 줄인다.
• 클러스터 병합은 오직 첫 번째 이웃 관계에 의해 유도되며, 유사도 임계값이나 사전 정의된 클러스터 수가 필요 없게 된다.
• 체인 형성에서 기하급수적 수렴 덕분에 데이터셋 크기에 관계없이 고정된 소수의 단계(4~10단계) 내에 수렴한다.
• 장기적인 첫 번째 이웃 체인을 탐지함으로써 데이터의 내재된 구조를 활용하여 자연스럽게 기반 클러스터 경계를 드러낸다.

실험 결과

연구 질문

• RQ1 거리 임계값이나 클러스터 수와 같은 하이퍼파ram터 없이도 클러스터링을 달성할 수 있는가?
• RQ2 첫 번째 이웃 관계만으로도 다양한 데이터 도메인에서 자연스러운 군집을 신뢰성 있게 드러낼 수 있는가?
• RQ3 수백만 개의 샘플을 포함한 데이터셋에 대해 효율적으로 확장되면서도 고순도와 고정밀도를 유지할 수 있는가?
• RQ4 첫 번째 이웃 체인 기반 재귀적 병합이 전통적인 계층적 방법보다 더 빠른 수렴과 더 나은 클러스터 품질을 이끌 수 있는가?
• RQ5 특히 고차원 특성 공간에서 기준 방법이 실패할 경우에도 잘 분리된 클러스터를 복원할 수 있는가?

주요 결과

• FINCH는 레이블이나 하이퍼파ram터를 사용하지 않음에도 불구하고 MNIST_10k 및 MNIST_70k 데이터셋에서 99% 이상의 정확도를 달성하여, CNN 모델의 분류 정확도를 재현했다.
• 최대 810만 개의 샘플을 포함한 데이터셋에서 FINCH는 단지 5~6단계 내에 수렴하였으며, 각 단계에서 높은 클러스터 순도를 유지하는 유효한 분할을 생성했다.
• 1077개 샘플의 데이터셋에서 FINCH는 4단계 만에 참값인 8개 클러스터의 구조를 탐지하였으며, 1077개에서 3개의 클러스터로 감소시키며 높은 정확도를 달성했다.
• FINCH는 오직 O(N) 메모리와 O(N log N) 시간만을 요구하여, 스펙트럼 클러스터링(O(N³))과 계층적 응집 클러스터링(O(N² log N))에 비해 뚜렷한 성능 우위를 보였다.
• 이 방법은 이미지 픽셀, 생물학적 측정치, 텍스트 특징, CNN 임베딩 등 다양한 도메인에서 강건하게 작동하여 일관된 성능을 보였다.
• 각 점이 항상 자신의 첫 번째 이웃과 연결되므로, 싱글턴 클러스터(크기 1)를 형성할 수 없으며, 이로 인해 최소 클러스터 크기는 2로 설정된다.