[논문 리뷰] Clustering is Easy When ....What?

Shai Ben-David|arXiv (Cornell University)|2015. 10. 19.

Data Management and Algorithms참고 문헌 15인용 수 5

한 줄 요약

이 논문은 '클러스터링은 중요하지 않을 때만 어려운 것'이라는 'CDNM' 가설을 비판적으로 검토하며, 기존의 클러스터러빌리티 개념이 실질적으로 관련된 데이터에서 효율적인 클러스터링 알고리즘을 가능하게 하는지 평가한다. 연구 결과, 일부 클러스터러빌리티 조건(예: 덧셈적 편향에 대한 강건성)은 다항시간 최적 해를 가능하게 하지만, 그 조건들이 현실적으로 비현실적으로 강한 파rameter를 요구함으로써 현재 이론은 일반적인 클러스터링 과제에 대해 CDNM 주장의 실질적 근거를 제공하지 못하고 있음을 밝혀냈다.

ABSTRACT

It is well known that most of the common clustering objectives are NP-hard to optimize. In practice, however, clustering is being routinely carried out. One approach for providing theoretical understanding of this seeming discrepancy is to come up with notions of clusterability that distinguish realistically interesting input data from worst-case data sets. The hope is that there will be clustering algorithms that are provably efficient on such "clusterable" instances. This paper addresses the thesis that the computational hardness of clustering tasks goes away for inputs that one really cares about. In other words, that "Clustering is difficult only when it does not matter" (the \emph{CDNM thesis} for short). I wish to present a a critical bird's eye overview of the results published on this issue so far and to call attention to the gap between available and desirable results on this issue. A longer, more detailed version of this note is available as arXiv:1507.05307. I discuss which requirements should be met in order to provide formal support to the the CDNM thesis and then examine existing results in view of these requirements and list some significant unsolved research challenges in that direction.

연구 동기 및 목표

• 이론적 클러스터러빌리티 조건이 실제 세계 데이터에서 클러스터링 알고리즘의 경험적 효율성을 정당화할 수 있는지 평가하기.
• 현재 이론적 결과와 '클러스터링은 중요하지 않을 때만 어려운 것'이라는 CDNM 가설 사이의 격차를 규명하기.
• 제안된 클러스터러빌리티 개념이 현실적인 데이터에 대해 효율적이고 증명 가능하게 올바른 클러스터링 알고리즘을 지원하는지 평가하기.
• 현재 이론적 프레임워크의 한계를 규명하여 CDNM 가설에 대한 공식적 지원이 불가능한 이유를 밝히기.
• 고정된 k와 고정된 目적 최적화를 넘어서, 실제 응용에 맞는 더 유연한 관점에서 클러스터링을 재고할 것을 주장하기.

제안 방법

• 다양한 형식적 클러스터러빌리티 개념(예: 덧셈적 편향에 대한 강건성, 중심 강건성, 분리 조건 등)을 그 알고리즘적 함의와 연관하여 분석하기.
• 이러한 클러스터러빌리티 조건이 다항시간 알고리즘을 통해 최적 또는 근사 최적의 클러스터링을 가능하게 하는지 평가하기.
• 클러스터러빌리티 개념에 대한 네 가지 핵심 요건 평가: 실용적 관련성, 알고리즘 효율성, 검증 가능성, 표준 클러스터링 알고리즘과의 호환성.
• 다양한 클러스터러빌리티 가정 하에서 k-means 및 k-median 클러스터링에 대한 기존 결과 검토하기.
• 이론적 보장과 실제 클러스터링 행동을 비교하며, 특히 클러스터 수 k의 역할을 분석하기.
• 관점 전환 제안: 고정된 k와 고정된 목적 함수 최적화를 넘어서, 실제 응용에 맞는 더 민첩한 클러스터링 과제로의 정의 재고하기.

실험 결과

연구 질문

• RQ1 현재의 클러스터러빌리티 개념이 실질적으로 의미 있는 데이터에서 효율적인 클러스터링 알고리즘을 얼마나 잘 지원하는가?
• RQ2 유망한 가정에도 불구하고 기존 이론적 결과가 왜 CDNM 가설을 뒷받침하지 못하는가?
• RQ3 현행 클러스터러빌리티 정의는 실세계 데이터의 구조를 얼마나 잘 포착하지 못하는가?
• RQ4 k-means 및 k-median에 대해 실용적으로 타당하고 계산적으로 다룰 수 있는 클러스터러빌리티 조건을 특정할 수 있는가?
• RQ5 클러스터링 문제의 설정을 어떻게 재편성하여 더 민감하고 응용 중심의 클러스터링 과제를 반영할 수 있는가?

주요 결과

• 임의의 양의 강건성 파rameter를 가진 덧셈적 편향에 대한 강건성은 다항시간 최적 클러스터링을 가능하게 하지만, 강력한 가정이 수반된다.
• 현재 제안된 클러스터러빌리티 조건 중 어느 것도 클러스터 수 k에 대해 다항시간 최적 클러스터링을 가능하게 하지 못하며, 이는 오직 매우 잘 클러스터링된 데이터에만 적용 가능한 파rameter 설정이 요구되기 때문이다.
• 중심 강건성에 대한 이론적 결과는 알려진 가능성을 근접한 수준에 도달하여 현재의 경계가 타당하고 쉽게 향상되지 않을 수 있음을 시사한다.
• 기존의 클러스터러빌리티 개념은 너무 제한적이어서 CDNM 가설을 뒷받침하지 못하며, 이는 일반적인 실용적 데이터보다 훨씬 더 구조화된 데이터를 요구하기 때문이다.
• 이론적 보장과 실제 클러스터링 성공 간의 괴리로 인해 현재 이론적 프레임워크가 실세계 클러스터링 과제를 정확히 모델링하지 못하고 있을 가능성이 있다.
• 논문은 고정된 k와 고정된 목적 함수 최적화로 정의된 클러스터링의 표준적 접근 방식이 실제 응용의 유연성을 반영하기에 부적절할 수 있다고 주장한다.