[논문 리뷰] Clustering with Same-Cluster Queries

Hassan Ashtiani, Shrinu Kushagra외 1명|arXiv (Cornell University)|2016. 06. 08.

Machine Learning and Algorithms인용 수 44

한 줄 요약

이 논문은 마진 조건 하에서 NP-난이도 클러스터링 문제를 효율적으로 해결하기 위해 동일 클러스터 질의를 사용하는 반감독형 활성 클러스터링(SSAC) 프레임워크를 제안한다. O(k² log k + k log n)의 질의와 O(kn log n)의 시간 복잡도를 요구하는 BPP 알고리즘을 제시하며, 전문가가 마진을 고려한 k-means 해를 따를 경우 효율적인 클러스터링을 달성한다.

ABSTRACT

We propose a framework for Semi-Supervised Active Clustering framework (SSAC), where the learner is allowed to interact with a domain expert, asking whether two given instances belong to the same cluster or not. We study the query and computational complexity of clustering in this framework. We consider a setting where the expert conforms to a center-based clustering with a notion of margin. We show that there is a trade off between computational complexity and query complexity; We prove that for the case of $k$-means clustering (i.e., when the expert conforms to a solution of $k$-means), having access to relatively few such queries allows efficient solutions to otherwise NP hard problems. In particular, we provide a probabilistic polynomial-time (BPP) algorithm for clustering in this setting that asks $O\big(k^2\log k + k\log n)$ same-cluster queries and runs with time complexity $O\big(kn\log n)$ (where $k$ is the number of clusters and $n$ is the number of instances). The success of the algorithm is guaranteed for data satisfying the margin condition under which, without queries, we show that the problem is NP hard. We also prove a lower bound on the number of queries needed to have a computationally efficient clustering algorithm in this setting.

연구 동기 및 목표

• k-means와 같은 클러스터링 문제의 계산적 비가역성, 즉 표준 설정에서 NP-난이도임을 해결하기 위해.
• 동일 클러스터 질의를 포함한 활성 학습 프레임워크를 도입하여 클러스터링의 질의 및 계산 복잡도를 감소시키기 위해.
• 기본적으로 해결이 불가능한 클러스터링 문제를 효율적으로 해결할 수 있도록 작은 수의 질의로 충분한 조건을 설정하기 위해.
• 전문가의 응답이 중심 기반 클러스터링과 일관되게 작동하는 조건인 마진 조건을 정식화하여 알고리즘적 보장을 가능하게 하기 위해.
• 이 활성 클러스터링 프레임워크에서 효율성의 이론적 한계를 규명하기 위해 질의 복잡도의 하한을 증명하기 위해.

제안 방법

• 프레임워크는 러닝이 도메인 전문가에게 두 개의 인스턴스가 같은 클러스터에 속해 있는지에 대해 상호작용적으로 질의할 수 있도록 허용한다.
• 전문가는 중심 기반 클러스터링에 마진을 고려하여 따르며, 응답의 일관성과 구조를 보장한다.
• O(k² log k + k log n)의 동일 클러스터 질의를 사용하는 확률적 다항시간(BPP) 알고리즘을 설계하였다.
• 알고리즘은 O(kn log n)의 시간 복잡도로 실행되며, 표준 k-means 솔버에 비해 계산 비용을 크게 감소시킨다.
• 마진 조건을 활용하여 질의 응답이 정보가 많고 높은 확률로 정확한 클러스터링을 이끌도록 한다.
• 이론적 분석은 확률적 방법과 마진 조건의 기하학적 성질을 조합하여 질의 및 시간 복잡도의 상한을 도출한다.

실험 결과

연구 질문

• RQ1 작은 수의 동일 클러스터 질의로 NP-난이도 클러스터링 문제를 효율적으로 해결할 수 있는가?
• RQ2 마진 조건 하에서 활성 클러스터링의 질의 복잡도와 계산 복잡도 사이의 상호 교환 관계는 어떠한가?
• RQ3 이 프레임워크에서 계산적으로 효율적인 클러스터링 알고리즘을 달성하기 위해 얼마나 많은 동일 클러스터 질의가 필요한가?
• RQ4 전문가의 레이블링 행동(동일 클러스터 질의를 통해)이 다항시간 클러스터링 솔루션을 가능하게 하는 조건은 무엇인가?
• RQ5 이 활성 학습 설정에서 효율적인 클러스터링을 위해 질의 복잡도의 하한을 설정할 수 있는가?

주요 결과

• 제안된 BPP 알고리즘은 O(kn log n)의 시간 복잡도로 O(k² log k + k log n)의 동일 클러스터 질의만으로 k-means 클러스터링을 해결한다.
• 알고리즘의 성공은 전문가의 응답이 유효한 k-means 해와 일관되게 작용하는 마진 조건 하에서 보장된다.
• 마진 조건이 없을 경우 문제는 여전히 NP-난이도이므로, 효율성을 확보하기 위해 구조적 가정이 필수적임을 보여준다.
• 질의 수에 대한 하한이 증명되었으며, 주어진 모델 하에서 선형 이하의 질의 수는 효율적 클러스터링을 위한 충분하지 않음을 보여준다.
• 프레임워크는 명확한 상호 교환 관계를 설정한다: 더 적은 수의 질의를 사용하려면 마진 조건이 충족되어야 하며, 그렇지 않으면 계산 비용이 증가한다.
• 결과적으로 잘 선택된 소수의 질의만으로도 기존에 해결이 불가능한 클러스터링 문제의 복잡도를 극적으로 감소시킬 수 있음을 보여준다.