[논문 리뷰] Query Complexity of Clustering with Side Information

Arya Mazumdar, Barna Saha|arXiv (Cornell University)|2017. 06. 23.

Facility Location and Emergency Management인용 수 32

한 줄 요약

이 논문은 측면 정보를 활용한 클러스터링의 쿼리 복잡도를 연구하며, 유사도 행렬이 쌍별 쿼리 수를 Θ(nk)에서 O(k² log n / H²(f₊∥f₋})로 감소시킨다고 보여준다. 여기서 H²는 제곱 헬링거 발산이다. 이 방법은 로그 인자 내에서 정보 이론적으로 최적이며, k, f₊, f₋에 대한 사전 지식 없이도 작동한다.

ABSTRACT

Suppose, we are given a set of $n$ elements to be clustered into $k$ (unknown) clusters, and an oracle/expert labeler that can interactively answer pair-wise queries of the form, ``do two elements $u$ and $v$ belong to the same cluster?''. The goal is to recover the optimum clustering by asking the minimum number of queries. In this paper, we provide a rigorous theoretical study of this basic problem of query complexity of interactive clustering, and give strong information theoretic lower bounds, as well as nearly matching upper bounds. Most clustering problems come with a similarity matrix, which is used by an automated process to cluster similar points together. To improve accuracy of clustering, a fruitful approach in recent years has been to ask a domain expert or crowd to obtain labeled data interactively. Many heuristics have been proposed, and all of these use a similarity function to come up with a querying strategy. Even so, there is a lack systematic theoretical study. Our main contribution in this paper is to show the dramatic power of side information aka similarity matrix on reducing the query complexity of clustering. A similarity matrix represents noisy pair-wise relationships such as one computed by some function on attributes of the elements. A natural noisy model is where similarity values are drawn independently from some arbitrary probability distribution $f_+$ when the underlying pair of elements belong to the same cluster, and from some $f_-$ otherwise. We show that given such a similarity matrix, the query complexity reduces drastically from $\Theta(nk)$ (no similarity matrix) to $O(\frac{k^2\log{n}}{\cH^2(f_+\|f_-)})$ where $\cH^2$ denotes the squared Hellinger divergence. Moreover, this is also information-theoretic optimal within an $O(\log{n})$ factor. Our algorithms are all efficient, and parameter free, i.e., they work without any knowledge of $k, f_+$ and $f_-$, and only depend logarithmically with $n$.

연구 동기 및 목표

• 쌍별 오라클 쿼리를 사용한 인터랙티브 클러스터링의 쿼리 복잡도를 엄밀하게 분석하는 것.
• 유사도 행렬 형태의 측면 정보가 필요한 쿼리 수를 어떻게 줄이는지 조사하는 것.
• 쿼리 복잡도에 대한 엄밀한 정보 이론적 하한과 거의 일치하는 상한을 설정하는 것.
• k, f₊, f₋에 대한 사전 지식 없이도 작동하는 효율적이고 파rameter-free 알고리즘을 설계하는 것.
• 제안된 방법의 이론적 최적성(로그 인자 내에서)을 입증하는 것.

제안 방법

• 논문은 유사도 값을 두 분포 f₊(동일 클러스터 쌍)와 f₋(다른 클러스터 쌍)에서 추출된 것으로 모델링한다.
• 동일 클러스터 쌍과 다른 클러스터 쌍 간의 통계적 구분 가능성 측도로 제곱 헬링거 발산 H²(f₊∥f₋)를 사용한다.
• 제안된 알고리즘은 유사도 행렬을 활용해 쿼리 선택을 유도하며, 높은 구분 능력을 지닌 쌍에 집중한다.
• 유사도 점수와 클러스터 할당에 대한 신뢰도에 기반해 적응적으로 쿼리하는 재귀적 클러스터링 전략을 채택한다.
• 알고리즘은 파rameter-free이며, k, f₊, f₋에 대한 지식이 필요 없고, n에 대해 로그 스케일링된다.
• 이론적 분석은 정보 이론적 하한과 구축된 상한을 결합하여 근사 최적성을 입증한다.

실험 결과

연구 질문

• RQ1 오라클을 사용한 클러스터링에서 유사도 행렬의 존재가 쿼리 복잡도에 어떤 영향을 미치는가?
• RQ2 진정한 클러스터링을 복구하기 위해 필요한 쿼리 수의 정보 이론적 하한은 무엇인가?
• RQ3 효율적이고 파rameter-free인 알고리즘이 정보 이론적 한계에 가까운 쿼리 복잡도를 달성할 수 있는가?
• RQ4 제곱 헬링거 발산 H²(f₊∥f₋)는 측면 정보가 쿼리 수를 줄이는 데 기여하는 정도를 어떻게 정량화하는가?
• RQ5 제안된 쿼리 복잡도는 로그 인자 내에서 최적인가?

주요 결과

• 유사도 행렬이 없을 경우 쿼리 복잡도가 Θ(nk)에서 유사도 행렬이 있을 경우 O(k² log n / H²(f₊∥f₋})로 감소한다.
• 제안된 알고리즘은 k, f₊, f₋에 대한 사전 지식 없이도 이 복잡도를 달성한다.
• 상한은 O(log n) 인자 내에서 정보 이론적으로 최적이다.
• 제곱 헬링거 발산 H²(f₊∥f₋)는 동일 클러스터 쌍과 다른 클러스터 쌍 간의 통계적 분리 정도를 정량화한다.
• 이 방법은 효율적이며 n에 대해 로그 스케일링되어 대규모 클러스터링에 적합하다.
• 이론적 프레임워크는 유사도 품질과 쿼리 효율성 간의 밀접한 연결을 확립한다.