[논문 리뷰] Approximate Clustering with Same-Cluster Queries

Nir Ailon, Anup Bhattacharya외 2명|arXiv (Cornell University)|2017. 04. 06.

Data Management and Algorithms참고 문헌 17인용 수 6

한 줄 요약

이 논문은 margin 가정이 필요 없이, 단지 $\mathrm{poly}(k/\varepsilon)$개의 동일 클러스터 쿼리만을 사용하여 $k$-means 문제에 대해 다항시간 $(1+\varepsilon)$-근사 알고리즘을 제시한다. 이는 반복적 동일 클러스터 쿼리가 알려진 NP-난해성 장벽을 우회할 수 있음을 보여준다. 반면, 반복적 동일 클러스터 쿼리가 포함된 Semi-Supervised Active Clustering (SSAC) 프레임워크 내에서 $k$-means++ 시딩 알고리즘을 확장함으로써, 상수 요인 근사치를 달성한다.

ABSTRACT

Ashtiani et al. proposed a Semi-Supervised Active Clustering framework (SSAC), where the learner is allowed to make adaptive queries to a domain expert. The queries are of the kind "do two given points belong to the same optimal cluster?" There are many clustering contexts where such same-cluster queries are feasible. Ashtiani et al. exhibited the power of such queries by showing that any instance of the $k$-means clustering problem, with additional margin assumption, can be solved efficiently if one is allowed $O(k^2 \log{k} + k \log{n})$ same-cluster queries. This is interesting since the $k$-means problem, even with the margin assumption, is $\mathsf{NP}$-hard. In this paper, we extend the work of Ashtiani et al. to the approximation setting showing that a few of such same-cluster queries enables one to get a polynomial-time $(1 + \varepsilon)$-approximation algorithm for the $k$-means problem without any margin assumption on the input dataset. Again, this is interesting since the $k$-means problem is $\mathsf{NP}$-hard to approximate within a factor $(1 + c)$ for a fixed constant $0 < c < 1$. The number of same-cluster queries used is $ extrm{poly}(k/\varepsilon)$ which is independent of the size $n$ of the dataset. Our algorithm is based on the $D^2$-sampling technique. We also give a conditional lower bound on the number of same-cluster queries showing that if the Exponential Time Hypothesis (ETH) holds, then any such efficient query algorithm needs to make $Ω\left(\frac{k}{poly \log k} ight)$ same-cluster queries. Our algorithm can be extended for the case when the oracle is faulty. Another result we show with respect to the $k$-means++ seeding algorithm is that a small modification to the $k$-means++ seeding algorithm within the SSAC framework converts it to a constant factor approximation algorithm instead of the well known $O(\log{k})$-approximation algorithm.

연구 동기 및 목표

• 동일 클러스터 쿼리가 허용되는 SSAC 프레임워크 하에서 $k$-means 문제에 대한 효율적인 근사 알고리즘을 설계하는 것.
• 이전 알고리즘이 효율적인 해결책을 얻기 위해 필요로 했던 margin 가정을 제거하는 것.
• 적은 수의 적응형 동일 클러스터 쿼리가 $k$-means++ 알고리즘을 상수 요인 근사치 알고리즘으로 전환할 수 있음을 보여주는 것.
• Exponential Time Hypothesis (ETH) 하에서 필요한 쿼리 수에 대한 조건부 하한을 설정하는 것.
• 오차 확률이 유한한 오라클에 대해 노이즈가 있는 또는 고장난 오라클을 다룰 수 있도록 프레임워크를 확장하는 것.

제안 방법

• 알고리즘은 동일 클러스터 쿼리를 통해 개선된 $D^2$-샘플링($k$-means++)을 기반으로 한 시딩 메커니즘을 사용한다.
• PartitionSample이라는 서브루틴은 $D^2$-샘플링을 사용하여 샘플된 점들을 클러스터로 분할하며, 각 파artition의 크기가 $\Omega(k/\varepsilon)$ 이상이 되도록 보장한다.
• IsCovered 서브루틴은 동일 클러스터 쿼리 결과에 대한 다수결을 통해 기존 중심이 클러스터를 커버하고 있는지 판단하며, 확률적 정확성을 확보하기 위해 체르노프 불등식을 활용한다.
• 알고리즘은 반복적으로 오라클에 쿼리를 보내 미커버드 클러스터를 탐지하고, 중심 선택을 반복적으로 개선함으로써 모든 클러스터가 커버될 때까지 진행한다.
• 오차가 있는 오라클의 경우, 오류 내성 다수결 및 농도 불등식을 사용하여 높은 확률로 정확한 결과를 확보한다.
• 쿼리 복잡도는 비가역적 데이터셋의 경우 $O(k^7/\varepsilon^8)$, 일반적인 경우 $O(k^{15}/\varepsilon^8)$로 제한되며, $n$에 독립적이다.

실험 결과

연구 질문

• RQ1 동일 클러스터 쿼리가 margin 가정 없이 다항시간 $(1+\varepsilon)$-근사치를 달성할 수 있는가?
• RQ2 $k$-means++ 알고리즘이 SSAC 프레임워크 내에서 수정되어 $O(\log k)$가 아닌 상수 요인 근사치를 달성할 수 있는가?
• RQ3 Exponential Time Hypothesis (ETH) 하에서 효율적인 근사치를 달성하기 위해 필요한 최소 동일 클러스터 쿼리 수는 얼마인가?
• RQ4 오차 확률 $q < 1/2$를 갖는 노이즈가 있는 오라클 응답에 대해 알고리즘이 강인하게 유지될 수 있는가?
• RQ5 SSAC 프레임워크가 클러스터링 문제에서 알려진 NP-난해성 장벽을 우회할 수 있는 실현 가능한 길을 제공하는가?

주요 결과

• 논문은 데이터셋 크기 $n$에 독립적으로 $\mathrm{poly}(k/\varepsilon)$개의 동일 클러스터 쿼리만을 사용하여 $k$-means 문제에 대해 다항시간 $(1+\varepsilon)$-근사 알고리즘을 제시한다.
• 알고리즘은 SSAC 프레임워크 내에서 $k$-means++를 수정함으로써 상수 요인 근사치를 달성하며, 기존의 표준 $O(\log k)$-근사치 보다 향상된 성능을 보인다.
• 조건부 하한을 통해 ETH 하에서 어떤 효율적 알고리즘도 $\Omega(k / \mathrm{poly}(\log k))$개 이상의 동일 클러스터 쿼리를 수행해야 함을 보여준다.
• 체르노프 불등식을 적용하여 쿼리 결과에 기반해, 커버된 및 커버되지 않은 클러스터를 적어도 $1 - \frac{1}{16k}$의 확률로 정확히 탐지한다.
• 오차 확률 $q < 1/2$를 갖는 오라클의 경우, 다수결 및 농도 불등식을 통해 높은 정확도를 유지한다.
• 총 쿼리 복잡도는 $(k,\varepsilon)$-비가역적 데이터셋의 경우 $O(k^7/\varepsilon^8)$, 일반적인 경우 $O(k^{15}/\varepsilon^8)$이며, 둘 다 $n$에 독립적이다.