[논문 리뷰] Computational Feasibility of Clustering under Clusterability Assumptions

Shai Ben-David|arXiv (Cornell University)|2015. 01. 02.

Data Management and Algorithms참고 문헌 16인용 수 19

한 줄 요약

이 논문은 다양한 클러스터러빌리티 가정 하에서 클러스터링이 계산적으로 가능해지는지 비판적으로 평가하며, 페르투르베이션 강건성과 안정성 같은 개념을 조사한다. 연구 결과, '클러스터링은 그것이 중요하지 않을 때만 어려운 일이다' (CDNM)라는 주장은 공식적인 근거가 부족하며, 현재의 클러스터러빌리티 정의는 k-means나 k-median와 같은 일반적인 목표 함수에 대해 다항시간 최적 클러스터링을 일관되게 가능하게 하지 못한다.

ABSTRACT

It is well known that most of the common clustering objectives are NP-hard to optimize. In practice, however, clustering is being routinely carried out. One approach for providing theoretical understanding of this seeming discrepancy is to come up with notions of clusterability that distinguish realistically interesting input data from worst-case data sets. The hope is that there will be clustering algorithms that are provably efficient on such 'clusterable' instances. In other words, hope that "Clustering is difficult only when it does not matter" (CDNM thesis, for short). We believe that to some extent this may indeed be the case. This paper provides a survey of recent papers along this line of research and a critical evaluation their results. Our bottom line conclusion is that that CDNM thesis is still far from being formally substantiated. We start by discussing which requirements should be met in order to provide formal support the validity of the CDNM thesis. In particular, we list some implied requirements for notions of clusterability. We then examine existing results in view of those requirements and outline some research challenges and open questions.

연구 동기 및 목표

• 클러스터러빌리티 가정이 클러스터링 알고리즘의 실용적 효율성을 공식적으로 정당화할 수 있는지 평가하기.
• CDNM 주장(클러스터링은 그것이 중요하지 않을 때만 어려운 일이다)을 뒷받침하기 위한 클러스터러빌리티 개념이 가져야 할 필수 기준을 규명하기.
• 페르투르베이션 강건성, 안정성, 분리성 등 기존 클러스터러빌리티 정의를 이러한 기준에 대해 평가하기.
• 실제로 구조화된 데이터에 대한 클러스터링 이론적 지원의 격차를 드러내기.
• k-means와 k-median 목표 함수의 효율적 최적화와 클러스터러빌리티를 연결하는 데 있어 열려 있는 문제를 규명하기.

제안 방법

• 추가/곱셈적 페르투르베이션 강건성, (α,ε)-내성, 최적해의 유일성 등을 포함한 10개 이상의 공식적 클러스터러빌리티 개념을 조사하고 분석하기.
• 실현 가능성, 계산 가능성, 실용 클러스터링과의 일치성 등 필수 성질 세트를 기준으로 각 클러스터러빌리티 개념 평가하기.
• 클러스터러빌리티와 k-means 및 k-median 목표 함수 최적화 간의 관계 분석하기.
• 이러한 가정 하에서 클러스터링 알고리즘이 최적 또는 근사 최적 해를 보장할 수 있는지 평가하기.
• 트리 자르기 과정에서 좋은 클러스터 구조를 유지하는 방법으로 연결 기반 계층적 클러스터링 탐색하기.
• 클러스터러빌리티 하에서 근사 알고리즘 분석하여 정확한 해를 얻는 조건 파악하기.

실험 결과

연구 질문

• RQ1 어떤 클러스터러빌리티 가정 하에서 k-means나 k-median 클러스터링을 다항시간 내에 해결할 수 있는가?
• RQ2 기존 클러스터러빌리티 개념들이 '좋은' 클러스터링이 표준 목표 함수의 최적 해임을 어느 정도 보장하는가?
• RQ3 연결 기반 계층적 클러스터링 알고리즘이 다양한 클러스터러빌리티 조건 하에서 최적 클러스터링을 자르기 과정에서 보존할 수 있는가?
• RQ4 α-center 안정성 같은 클러스터러빌리티 조건이 유클리드 공간에서 어떤 파rameter 값에서 NP-난이도를 유도하는가?
• RQ5 표준 근사 알고리즘(예: 선형계획법 풀이)이 어떤 클러스터러빌리티 조건 하에서 정확한 최적 해를 도출하는가?

주요 결과

• 현재까지의 클러스터러빌리티 개념 중 어떤 것도 k-means나 k-median에 대해 다항시간 최적성 보장을 공식적으로 보장하지 않기 때문에, '클러스터링은 그것이 중요하지 않을 때만 어려운 일이다'라는 CDNM 주장은 아직 입증되지 않았다.
• 모든 클러스터러빌리티 개념 중에서 오직 α-center 안정성만 의미 있는 NP-난이도 하한선을 가지며, 심지어 그것조차도 유클리드 공간에선 적용되지 않는다.
• 현재 알려진 클러스터러빌리티 조건 중 어떤 것도 '좋은' 클러스터링이 k-means나 k-median의 최적 해임을 보장하지 못하며, 그러한 해가 유일함을 보장하지도 못한다.
• 연결 기반 계층적 클러스터링은 (1+√2)-center 안정성과 같은 특정 가정 하에서만 최적 클러스터링을 보존할 수 있으며, 다른 개념에는 일반적으로 적용되지 않는다.
• 기존 근사 알고리즘은 가정 조건이 매우 강력할 경우를 제외하고는 클러스터러빌리티 조건 하에서 정확한 해를 얻지 못하며, 일반적인 보장 조건이 없다.
• 클러스터 수와 목표 함수가 고정되지 않은 융통성 있는 클러스터링에 대한 이론적 지원은 여전히 부족한데, 실용적 중요성은 크다.