[論文レビュー] Efficient Clustering with Limited Distance Information

Konstantin Voevodski, Maria-Florina Balcan+3 more|arXiv (Cornell University)|Sep 27, 2010

Algorithms and Data Compression参考文献 16被引用数 15

ひとこと要約

本論文は、近似安定性とランドマークベースのサンプリングを活用することで、O(k) 個の one-vs-all 距離クエリのみを用いて高精度なクラスタリングを達成するアクティブクラスタリングアルゴリズムを提示する。従来の手法と比較して計算コストを顕著に低減しつつ、同等の精度を維持する。特に、BLAST に類似したクエリが効率的な生物学的配列クラスタリングにおいて顕著に有効である。

ABSTRACT

Given a point set S and an unknown metric d on S, we study the problem of efficiently partitioning S into k clusters while querying few distances between the points. In our model we assume that we have access to one versus all queries that given a point s in S return the distances between s and all other points. We show that given a natural assumption about the structure of the instance, we can efficiently find an accurate clustering using only O(k) distance queries. Our algorithm uses an active selection strategy to choose a small set of points that we call landmarks, and considers only the distances between landmarks and other points to produce a clustering. We use our algorithm to cluster proteins by sequence similarity. This setting nicely fits our model because we can use a fast sequence database search program to query a sequence against an entire dataset. We conduct an empirical study that shows that even though we query a small fraction of the distances between the points, we produce clusterings that are close to a desired clustering given by manual classification.

研究の動機と目的

• すべてのペアワイズ距離を計算することが不可能な大規模データセットのクラスタリング課題に対処すること。
• 特に one-vs-all クエリが効率的な状況（例：タンパク質配列の BLAST）において、正確なクラスタリングに必要な距離クエリの数を削減すること。
• （c,ε）-近似安定性仮定の下で、強い理論的保証を維持する高速でスケーラブルなクラスタリングアルゴリズムの設計。
• 実際の生物学的データセットにおいて実用的効果を示し、全距離行列を必要とする最先端手法と同等またはそれを上回る精度を達成しながら、はるかに少ない距離計算量で実現すること。

提案手法

• アルゴリズムは、データ分布を代表する小さなランドマーク点の集合をアクティブ選択戦略で選ぶ。
• one-vs-all 距離クエリに依存している—すなわち、1点の距離をすべての他の点に対して一度の操作で取得する—これは BLAST のようなシーケンス検索ツールで一般的に効率的である。
• k-median 目的関数に対して（c,ε）-性質を仮定し、任意の c-近似解が最適クラスタリングからの誤差 ε 以内にあることを保証する。
• フル距離行列を避けるために、クラスタリングはランドマーク点と他のすべての点間の距離に基づいて計算される。
• アルゴリズムの実行時間は O((k + log(1/δ))|S| log|S|) であり、従来の O(|S|³) 手法と比べて顕著に高速である。
• 確率的解析を用いて、最小限のクエリオーバーヘッドで高確率（1−δ）での正しさを保証する。

実験結果

リサーチクエスチョン

• RQ1 自然な構造的仮定の下で、O(k) の one-vs-all 距離クエリでのみ正確なクラスタリングが達成可能か？
• RQ2 アクティブランドマーク選択は、クラスタリングの効率を向上させつつ精度を維持できるか？
• RQ3 全情報手法と同等の理論的性能保証を維持しながら、クエリコストを著しく削減できるか？
• RQ4 ヒューリスティックな距離クエリを用いる実際の生物学的データセットにおいて、この手法はどのように性能を発揮するか？

主な発見

• アルゴリズムは、Pfam や SCOP などのゴールスタンダードな手動分類と同等のクラスタリング精度を、O(k) の one-vs-all クエリのみで達成する。
• 実験的結果は、フル距離行列を必要とし、はるかに遅い最先端手法と同等またはそれ以上の精度を達成するクラスタリングを生成することを示している。
• アルゴリズムの実行時間は O((k + log(1/δ))|S| log|S|) であり、従来の O(|S|³) の実行時間と比べて顕著な改善を示す。
• 理論的解析により、（c,ε）-近似安定性仮定の下で、アルゴリズムは確率 1−δ 以上で誤差が ε 以内のクラスタリングを返すことが確認された。
• クラスタリングの F-スコアは、ターゲットクラスタリングからの距離が d のとき、下限として 1−3d/2 を満たすことが示され、誤差と評価指標の間の明確な形式的関係が確立された。