[논문 리뷰] Robust Hierarchical Clustering

Maria-Florina Balcan, Yingyu Liang외 1명|arXiv (Cornell University)|2014. 01. 01.

Advanced Clustering Algorithms Research참고 문헌 31인용 수 57

한 줄 요약

이 논문은 전통적인 응집형 방법에 비해 노이즈에 강한 내성을 갖도록 전역 클러스터 유사도와 중앙값 기반 연결 테스트를 사용하는 강력한 계층적 클러스터링 알고리즘을 제안한다. 자연스러운 데이터 성질인 양호한 이웃성질을 만족할 때 정확한 클러스터링을 달성하며, 노이즈가 있는 합성 및 실세계 데이터에서 표준 방법을 능가하고, 소규모 무작위 표본을 사용하는 인덕티브 설정으로도 효과적으로 확장된다.

ABSTRACT

One of the most widely used techniques for data clustering is agglomerative clustering. Such algorithms have been long used across many different fields ranging from computational biology to social sciences to computer vision in part because their output is easy to interpret. Unfortunately, it is well known, however, that many of the classic agglomerative clustering algorithms are not robust to noise. In this paper we propose and analyze a new robust algorithm for bottom-up agglomerative clustering. We show that our algorithm can be used to cluster accurately in cases where the data satisfies a number of natural properties and where the traditional agglomerative algorithms fail. We also show how to adapt our algorithm to the inductive setting where our given data is only a small random sample of the entire data set. Experimental evaluations on synthetic and real world data sets show that our algorithm achieves better performance than other hierarchical algorithms in the presence of noise. <br>

연구 동기 및 목표

• 클래식한 응집형 클러스터링 알고리즘의 노이즈 및 이방성에 대한 잘 알려진 취약성을 해결하기 위해.
• 기존 방법이 실패하는 노이즈 조건에서도 정확성을 유지하는 연결 기반 계층적 클러스터링 알고리즘을 개발하기 위해.
• 양호한 이웃성질 및 경계점 구조와 같은 자연스러운 데이터 성질 하에서 강력성 보장을 체계화하기 위해.
• 작은 무작위 표본만 이용 가능한 인덕티브 설정으로 알고리즘을 확장하여 대규모 데이터셋에 대해 효율적인 클러스터링을 가능하게 하기 위해.
• 실제 및 합성 데이터셋에서 알고리즘의 뛰어난 성능과 노이즈 및 파rameter 조정에 대한 강건성에 대한 경험적 검증을 수행하기 위해.

제안 방법

• 노이즈가 있는 쌍별 유사도의 영향을 줄이기 위해 중앙값 테스트를 사용하여 클러스터 유사도를 계산한다.
• 단일 쌍별 연결에 의존하는 것 대신 다수의 점을 통해 정보를 집계하는 전역 유사도 측정 방식을 사용한다.
• 두 단계 클러스터링 프로세스를 도입한다: 먼저 이웃 구조에 기반해 양호한 점과 경계점 식별하고, 그 후 강력한 연결 적용한다.
• 결과로 얻은 계층 구조에 대해 정렬 전략을 적용하여 목표 클러스터링을 복구하며, 양호한 이웃성질 하에서 정확성을 보장한다.
• 소규모 무작위 표본에 기반한 계층을 구축하고, 전체 데이터셋으로 확장할 때 증명 가능하게 정확한 보장을 갖도록 알고리즘을 인덕티브 설정에 적응시킨다.
• 노이즈 내성 수준을 제어하기 위해 파rameter α와 ν(합쳐서 α + ν)를 조정하며, 경험적 검증을 통해 연속적인 값 범위에서 강건성을 입증한다.

실험 결과

연구 질문

• RQ1 노이즈에 대해 증명 가능하게 강건하면서도 자연스러운 데이터 성질을 만족할 때 정확성을 유지하는 연결 기반 응집형 클러스터링 알고리즘을 설계할 수 있는가?
• RQ2 어떤 데이터의 구조적 조건(예: 양호한 이웃성질) 하에서 제안된 알고리즘이 정확한 클러스터링을 보장하는가?
• RQ3 소규모 무작위 표본만 이용 가능한 인덕티브 설정에서, 정확성을 유지하면서 알고리즘을 어떻게 적응시킬 수 있는가?
• RQ4 다양한 노이즈 모델 하에서 제안된 알고리즘의 성능은 표준 계층적 클러스터링 방법과 비교해 어떻게 되는가?
• RQ5 알고리즘은 파rameter 조정에 얼마나 강건한가? 수동 파rameter 선택에 대해서도 강건하게 만들 수 있는가?

주요 결과

• 제안된 알고리즘은 제어된 노이즈가 있는 합성 데이터셋에서 표준 응집형 방법보다 더 높은 클러스터링 정확도를 달성하며, 특히 양호한 이웃성질 조건에서 뛰어난 성능을 보인다.
• 와인, 아이리스, BCW, BCWD와 같은 실세계 데이터셋에서 알고리즘은 다른 계층적 방법보다 일관되게 뛰어난 성능을 보이며, 특히 손상 및 가우시안 노이즈 조건에서 두각을 나타낸다.
• 알고리즘은 파rameter 조정에 강건하며, (α + ν) 값의 연속적인 범위에서 양호한 성능 유지를 보이며, 아이리스와 같은 낮은 노이즈 데이터셋에서는 낮은 범위만 필요로 한다.
• 인덕티브 설정에서 알고리즘은 표준 및 PFAM 데이터셋에서 랜덤 샘플링 기반 베이스라인보다 뚜렷이 뛰어난 성능을 보이며, 특히 양호한 이웃성질을 만족할 경우 두각을 나타낸다.
• 워드 방법 또한 노이즈에 강건한 것으로 나타났지만, 제안된 알고리즘은 제시된 데이터 성질 하에서 더 나은 또는 유사한 성능를 달성하면서 더 강력한 이론적 보장을 제공한다.
• 인덕티브 형태의 알고리즘은 전체 데이터셋 크기와 무관하게 크기가 작은 무작위 표본만 필요로 하여 대규모 응용에 대한 확장성을 확보한다.