[논문 리뷰] Efficient Clustering with Limited Distance Information

Konstantin Voevodski, Maria-Florina Balcan외 3명|arXiv (Cornell University)|2010. 09. 27.

Algorithms and Data Compression참고 문헌 16인용 수 15

한 줄 요약

이 논문은 근사 안정성과 랜드마크 기반 샘플링을 활용하여 O(k)개의 one-vs-all 거리 쿼리만으로도 높은 정확도의 클러스터링을 달성하는 활성 클러스터링 알고리즘을 제안한다. 기존 방법들과 비교해 계산 비용을 크게 감소시키면서도 정확도는 유사하게 유지하며, 특히 BLAST 유사 쿼리가 효율적인 생물학적 서열 클러스터링에 매우 효과적이다.

ABSTRACT

Given a point set S and an unknown metric d on S, we study the problem of efficiently partitioning S into k clusters while querying few distances between the points. In our model we assume that we have access to one versus all queries that given a point s in S return the distances between s and all other points. We show that given a natural assumption about the structure of the instance, we can efficiently find an accurate clustering using only O(k) distance queries. Our algorithm uses an active selection strategy to choose a small set of points that we call landmarks, and considers only the distances between landmarks and other points to produce a clustering. We use our algorithm to cluster proteins by sequence similarity. This setting nicely fits our model because we can use a fast sequence database search program to query a sequence against an entire dataset. We conduct an empirical study that shows that even though we query a small fraction of the distances between the points, we produce clusterings that are close to a desired clustering given by manual classification.

연구 동기 및 목표

• 모든 쌍별 거리 계산이 불가능한 대규모 데이터셋의 클러스터링 문제를 해결하기 위해.
• 특히 one-vs-all 쿼리가 효율적인 환경(예: 단백질 서열에 대한 BLAST)에서 정확한 클러스터링을 위해 필요한 거리 쿼리 수를 줄이기 위해.
• k-median 목표 함수에 대해 (c,ε)-근사 안정성 가정 하에 강력한 이론적 보장을 유지하면서도 빠르고 확장 가능한 클러스터링 알고리즘을 설계하기 위해.
• 실제 생물학적 데이터셋에서의 실용적 효과성을 입증하여, 훨씬 적은 거리 계산으로 최신 기술 수준의 정확도를 달성하거나 초월하기 위해.

제안 방법

• 알고리즘은 데이터 분포를 대표하는 작은 랜드마크 점 집합을 활성 선택 전략을 통해 선택한다.
• 일반적으로 BLAST과 같은 서열 검색 도구에서 효율적인 한 번의 연산으로 한 점에서 모든 다른 점까지의 거리를 동시에 확보하는 one-vs-all 거리 쿼리를 기반으로 한다.
• k-median 목표 함수에 대해 (c,ε)-성질을 가정하여, 임의의 c-근사 해가 최적 클러스터링으로부터 ε 이내 오차를 가짐을 보장한다.
• 완전한 거리 행렬을 피하기 위해 랜드마크와 나머지 모든 점 간의 거리만을 기반으로 클러스터링을 계산한다.
• 알고리즘은 O((k + log(1/δ))|S| log|S|) 시간에 실행되며, 이는 이전의 O(|S|³) 방법보다 크게 빠르다.
• 최소한의 쿼리 오버헤드로 높은 확률(1−δ)의 정확성 보장을 위한 확률적 분석을 사용한다.

실험 결과

연구 질문

• RQ1 자연스러운 구조적 가정 하에, O(k)개의 one-vs-all 거리 쿼리만으로도 정확한 클러스터링을 달성할 수 있는가?
• RQ2 활성 랜드마크 선택은 정확도를 유지하면서 클러스터링 효율을 어떻게 향상시킬 수 있는가?
• RQ3 완전한 정보 방법과 비교해 이론적 성능 보장을 유지하면서도 쿼리 비용을 극적으로 줄일 수 있는가?
• RQ4 실제 생물학적 데이터셋에서 히우리스틱 거리 쿼리가 사용될 경우, 이 방법은 실제로 어떻게 성능을 발휘하는가?

주요 결과

• 알고리즘은 O(k)개의 one-vs-all 쿼리만으로도 Pfam 및 SCOP와 같은 황금 표준 수작업 분류와 유사한 클러스터링 정확도를 달성한다.
• 실험 결과는 이 방법이 전체 거리 행렬이 필요한 기존 최신 기술 수준의 방법들과 유사한 정확도를 보이며, 훨씬 느린 방법들보다 뛰어난 성능을 낸다.
• 알고리즘은 O((k + log(1/δ))|S| log|S|) 시간에 실행되어 이전 방법의 O(|S|³) 런타임에 비해 상당한 향상을 이룬다.
• 이론적 분석을 통해 (c,ε)-근사 안정성 가정 하에 알고리즘이 최적 해와의 오차가 ε 이내인 클러스터링을 확률 1−δ 이상로 반환함을 확인했다.
• 클러스터링의 F-측정은 목표 클러스터링과의 거리가 d일 경우 1−3d/2 이하로 하한이 존재함을 보여주며, 오차와 평가 지표 간의 공식적 연결 고리를 확립한다.