[논문 리뷰] Semi-Supervised Algorithms for Approximately Optimal and Accurate Clustering

Buddhima Gamlath, Sangxia Huang외 1명|arXiv (Cornell University)|2018. 03. 02.

Machine Learning and Algorithms인용 수 5

한 줄 요약

이 논문은 유클리드 공간과 유한 거리 공간에서 $(1+\epsilon)$-근사 비용과 $(1-\epsilon)$-정확도를 동시에 확보하면서도 최소한의 동일 클러스터 오라클 쿼리를 사용하는 $k$-클러스터링을 위한 준감독 알고리즘을 제시한다. 이는 유클리드 공간에서 차원에 선형적으로 의존하고, 유한 거리 공간에서 후보 중심점 수에 로그적으로 의존하는 엄밀한 쿼리 복잡도 경계를 확립하며, $k$-의존도가 높아지더라도 유한 차원에 독립적인 쿼리 방식을 통해 효율성을 향상시킨다.

ABSTRACT

We study $k$-means clustering in a semi-supervised setting. Given an oracle that returns whether two given points belong to the same cluster in a fixed optimal clustering, we investigate the following question: how many oracle queries are sufficient to efficiently recover a clustering that, with probability at least $(1 - \\delta)$, simultaneously has a cost of at most $(1 + \\epsilon)$ times the optimal cost and an accuracy of at least $(1 - \\epsilon)$? We show how to achieve such a clustering on $n$ points with $O{((k^2 \\log n) \\cdot m{(Q, \\epsilon^4, \\delta / (k\\log n))})}$ oracle queries, when the $k$ clusters can be learned with an $\\epsilon'$ error and a failure probability $\\delta'$ using $m(Q, \\epsilon',\\delta')$ labeled samples in the supervised setting, where $Q$ is the set of candidate cluster centers. We show that $m(Q, \\epsilon', \\delta')$ is small both for $k$-means instances in Euclidean space and for those in finite metric spaces. We further show that, for the Euclidean $k$-means instances, we can avoid the dependency on $n$ in the query complexity at the expense of an increased dependency on $k$: specifically, we give a slightly more involved algorithm that uses $O(k^4/(\\epsilon^2 \\delta) + (k^{9}/\\epsilon^4) \\log(1/\\delta) + k \\cdot m(\\mathbb{R}^r, \\epsilon^4/k, \\delta))$ oracle queries. We also show that the number of queries needed for $(1 - \\epsilon)$-accuracy in Euclidean $k$-means must linearly depend on the dimension of the underlying Euclidean space, and for finite metric space $k$-means, we show that it must at least be logarithmic in the number of candidate centers. This shows that our query complexities capture the right dependencies on the respective parameters.

연구 동기 및 목표

• 최적의 해가 유일하지 않거나 이를 찾는 것이 NP-완전인 비감독 $k$-클러스터링의 한계를 해결하기 위해.
• 작은 수의 동일 클러스터 오라클 쿼리를 사용하여 근사적으로 최적이고 높은 정확도를 갖는 클러스터링을 복구할 수 있는 효율적인 준감독 알고리즘을 설계하기 위해.
• 유클리드 공간과 유한 거리 공간의 $k$-클러스터링 설정에서 $(1+\epsilon)$-근사 비용과 $(1-\epsilon)$-정확도를 달성하기 위해 필요한 오라클 쿼리 수에 대한 엄밀한 이론적 하한 및 상한을 확립하기 위해.
• 쿼리 복잡도가 $n$에 대해 로그적 요소까지, $\epsilon$과 $k$에 대해 다항식적 요소까지 최적임을 입증하기 위해, 일치하는 하한을 증명함으로써 제안된 쿼리 복잡도가 정보 이론적 하한에 근접함을 보여주기 위해.

제안 방법

• 알고리즘은 $\epsilon'$ 오차와 $\delta'$ 실패 확률을 갖는 $m(Q, \epsilon', \delta')$ 개의 레이블된 샘플을 사용하여 클러스터 중심을 추정하는 감독 학습 프레임워크를 활용한다.
• 준감독 클러스터링 문제를 동일 클러스터 오라클에 대한 쿼리로 환원하며, 쿼리 수는 $O((k^2 \log n) \cdot m(Q, \epsilon^4, \delta/(k \log n)))$ 이하로 제한된다.
• 유클리드 $k$-클러스터링의 경우, 더 복잡한 절차를 사용하여 쿼리 복잡도에서 $n$-의존도를 제거한 개선된 알고리즘이 존재하며, 이에 따라 쿼리 수는 $O(k^4/\epsilon^2\delta + k^9/\epsilon^4 \log(1/\delta) + k \cdot m(\mathbb{R}^r, \epsilon^4/k, \delta))$가 된다.
• 보로노이 분할의 구조적 성질과 대칭 점 집합에서의 거리 대칭성을 활용하여 쿼리 복잡도에 대한 하한을 유도한다.
• $\pm e_i$ 점들을 포함하는 $\mathbb{R}^r$ 상의 어려운 예시를 구성하여, 일정한 정확도를 확보하기 위해 쿼리 복잡도가 차원 $r$에 대해 선형적으로 증가해야 한다는 것을 증명한다.
• 또한 $\log n$ 개의 점들로부터 구성된 유한 거리 공간 예시를 통해 쿼리 복잡도가 최소 $\Omega(\log |Q|)$여야 하며, 이는 경계의 엄밀함을 입증한다.

실험 결과

연구 질문

• RQ1 $(1+\epsilon)$-근사 비용과 $(1-\epsilon)$-정확도를 동시에 확보하기 위해 $k$-클러스터링에서 최소한의 동일 클러스터 오라클 쿼리 수는 얼마인가?
• RQ2 정확도나 근사 보장 조건을 희생시키지 않고 유클리드 $k$-클러스터링에서 쿼리 복잡도를 $n$에 독립적으로 만들 수 있는가?
• RQ3 일정한 정확도를 확보하기 위해 유클리드 $k$-클러스터링에서 차원 $r$에 대한 의존도는 피할 수 없는가? 만약 그렇다면 그 강도는 어느 정도인가?
• RQ4 유한 거리 공간 $k$-클러스터링에서 후보 중심점 수 $|Q|$에 따라 쿼리 복잡도는 어떻게 변화하는가?
• RQ5 제안된 쿼리 복잡도 상한이 엄밀한지 확인할 수 있으며, 정보 이론적 하한과 일치하는가?

주요 결과

• 논문은 $(1+\epsilon)$-근사 비용과 $(1-\epsilon)$-정확도를 달성하기 위해 $O((k^2 \log n) \cdot m(Q, \epsilon^4, \delta/(k \log n)))$ 개의 오라클 쿼리 수에 상한을 설정한다.
• 유클리드 $k$-클러스터링의 경우, $n$-의존도가 없는 개선된 알고리즘이 존재하며, 이는 $k$-의존도가 높아지더라도 $O(k^4/\epsilon^2\delta + k^9/\epsilon^4 \log(1/\delta) + k \cdot m(\mathbb{R}^r, \epsilon^4/k, \delta))$ 쿼리로 이루어진다.
• 논문은 유클리드 $k$-클러스터링에서 일정한 정확도를 확보하기 위해 쿼리 복잡도가 차원 $r$에 대해 선형적으로 증가해야 한다는 하한을 증명한다.
• 또한, 유한 거리 공간 $k$-클러스터링에서 쿼리 복잡도는 최소 $\Omega(\log |Q|)$여야 하며, 이는 경계가 상수 요소까지 엄밀하다는 것을 보여준다.
• 결과적으로 제안된 알고리즘이 근사성, 정확도, 쿼리 효율성 사이의 최적의 트레이드오프를 달성하며, 쿼리 복잡도가 정보 이론적 한계와 일치함을 보여준다.
• 분석을 통해 $m(Q, \epsilon', \delta')$가 유클리드 공간과 유한 거리 공간 $k$-클러스터링 모두에서 작다는 것이 확인되었으며, 이는 제안된 접근 방식의 실용적 타당성을 뒷받침한다.