[論文レビュー] Query Complexity of Clustering with Side Information

Arya Mazumdar, Barna Saha|arXiv (Cornell University)|Jun 23, 2017

Facility Location and Emergency Management被引用数 32

ひとこと要約

本稿は、補助情報付きのクラスタリングにおける照合複雑度を研究し、類似度行列がペアワイズ照合の回数をΘ(nk)からO(k² log n / H²(f₊∥f₋})に削減することを示している。H²は二乗ヘルンゲル距離を表す。この手法は対数要因の範囲内で情報理論的に最適であり、k、f₊、f₋の事前知識がなくても動作する。

ABSTRACT

Suppose, we are given a set of $n$ elements to be clustered into $k$ (unknown) clusters, and an oracle/expert labeler that can interactively answer pair-wise queries of the form, ``do two elements $u$ and $v$ belong to the same cluster?''. The goal is to recover the optimum clustering by asking the minimum number of queries. In this paper, we provide a rigorous theoretical study of this basic problem of query complexity of interactive clustering, and give strong information theoretic lower bounds, as well as nearly matching upper bounds. Most clustering problems come with a similarity matrix, which is used by an automated process to cluster similar points together. To improve accuracy of clustering, a fruitful approach in recent years has been to ask a domain expert or crowd to obtain labeled data interactively. Many heuristics have been proposed, and all of these use a similarity function to come up with a querying strategy. Even so, there is a lack systematic theoretical study. Our main contribution in this paper is to show the dramatic power of side information aka similarity matrix on reducing the query complexity of clustering. A similarity matrix represents noisy pair-wise relationships such as one computed by some function on attributes of the elements. A natural noisy model is where similarity values are drawn independently from some arbitrary probability distribution $f_+$ when the underlying pair of elements belong to the same cluster, and from some $f_-$ otherwise. We show that given such a similarity matrix, the query complexity reduces drastically from $\Theta(nk)$ (no similarity matrix) to $O(\frac{k^2\log{n}}{\cH^2(f_+\|f_-)})$ where $\cH^2$ denotes the squared Hellinger divergence. Moreover, this is also information-theoretic optimal within an $O(\log{n})$ factor. Our algorithms are all efficient, and parameter free, i.e., they work without any knowledge of $k, f_+$ and $f_-$, and only depend logarithmically with $n$.

研究の動機と目的

• ペアワイズオラクル照合を用いたインタラクティブクラスタリングの照合複雑度を厳密に分析すること。
• 類似度行列という形での補助情報が必要な照合回数をどれほど削減できるかを調査すること。
• 照合複雑度に関するタイトな情報理論的下界と、ほぼ一致する上界を確立すること。
• k、f₊、f₋の事前知識が不要な効率的でパラメータフリーのアルゴリズムを設計すること。
• 提案手法の理論的最適性が対数要因の範囲内で保証されていることを示すこと。

提案手法

• 本稿は、類似度値が2つの分布f₊（同じクラスタのペア）およびf₋（異なるクラスタのペア）から抽出されるとモデル化する。
• 同じクラスタと異なるクラスタのペアの間の統計的区別可能性を測る指標として、二乗ヘルンゲル距離H²(f₊∥f₋)を用いる。
• 提案されたアルゴリズムは類似度行列を活用して照合選択をガイドし、識別力の高いペアに注目する。
• 類似度スコアとクラスタ割り当ての信頼性に基づいて、再帰的なクラスタリング戦略を適応的に適用する。
• パラメータフリーであり、k、f₊、f₋の事前知識が不要で、nに対して対数的にスケーリングする。
• 理論的分析では、情報理論的下界と構成的上界を組み合わせ、近似的最適性を示している。

実験結果

リサーチクエスチョン

• RQ1 オラクルを用いたクラスタリングにおける照合複雑度に、類似度行列の存在がどのように影響するか。
• RQ2 真のクラスタリングを回復するために必要な照合回数の情報理論的下界は何か。
• RQ3 効率的でパラメータフリーなアルゴリズムが、情報理論的限界に近い照合複雑度を達成できるか。
• RQ4 二乗ヘルンゲル距離H²(f₊∥f₋)は、照合回数の削減に寄与する補助情報の効果をどのように定量化するか。
• RQ5 提案された照合複雑度は、対数要因の範囲内で最適か。

主な発見

• 類似度行列が存在しない場合の照合複雑度Θ(nk)が、類似度行列があるとO(k² log n / H²(f₊∥f₋})に削減される。
• 提案されたアルゴリズムは、k、f₊、f₋の事前知識がなくてもこの複雑度を達成する。
• 上界はO(log n)要因の範囲で情報理論的に最適である。
• 二乗ヘルンゲル距離H²(f₊∥f₋)は、同じクラスタと異なるクラスタのペアの統計的分離度を定量化する。
• この手法は効率的で、nに対して対数的にスケーリングするため、大規模クラスタリングに適している。
• 理論的枠組みにより、類似度の質と照合効率の間のタイトな関係が確立された。