[論文レビュー] Clustering with Same-Cluster Queries

Hassan Ashtiani, Shrinu Kushagra+1 more|arXiv (Cornell University)|Jun 8, 2016

Machine Learning and Algorithms被引用数 44

ひとこと要約

この論文は、マージン条件の下でNP困難なクラスタリング問題を効率的に解くために、同じクラスタ内かを問い合わせるクエリを用いる半教師付きアクティブクラスタリング（SSAC）フレームワークを導入する。マージン条件の下で、O(k² log k + k log n) のクエリと O(kn log n) の時間で動作するBPPアルゴリズムを提示し、専門家がk-means解に従う場合に効率的なクラスタリングが達成される。

ABSTRACT

We propose a framework for Semi-Supervised Active Clustering framework (SSAC), where the learner is allowed to interact with a domain expert, asking whether two given instances belong to the same cluster or not. We study the query and computational complexity of clustering in this framework. We consider a setting where the expert conforms to a center-based clustering with a notion of margin. We show that there is a trade off between computational complexity and query complexity; We prove that for the case of $k$-means clustering (i.e., when the expert conforms to a solution of $k$-means), having access to relatively few such queries allows efficient solutions to otherwise NP hard problems. In particular, we provide a probabilistic polynomial-time (BPP) algorithm for clustering in this setting that asks $O\big(k^2\log k + k\log n)$ same-cluster queries and runs with time complexity $O\big(kn\log n)$ (where $k$ is the number of clusters and $n$ is the number of instances). The success of the algorithm is guaranteed for data satisfying the margin condition under which, without queries, we show that the problem is NP hard. We also prove a lower bound on the number of queries needed to have a computationally efficient clustering algorithm in this setting.

研究の動機と目的

• k-meansのようなクラスタリング問題の計算的非効率性（標準設定下でNP困難）に対処すること。
• 同じクラスタ内かを問い合わせるクエリを導入したアクティブラーニングフレームワークにより、クラスタリングのクエリおよび計算コストを低減すること。
• それ以外に非効率なクラスタリング問題が、少数のクエリで効率的に解けるような条件を確立すること。
• 専門家の応答が中心に基づくクラスタリングと整合的であることを保証するマージン条件を形式化し、アルゴリズムの保証を可能にすること。
• このアクティブクラスタリングフレームワークにおける効率の理論的限界を示すために、クエリの複雑さの下界を確立すること。

提案手法

• フレームワークは、学習者が2つのインスタンスが同じクラスタに属するかどうかをドメイン専門家にインタラクティブに問い合わせることを許可する。
• 専門家は、マージンを伴う中心に基づくクラスタリングに従うものと仮定され、応答の整合性と構造が保証される。
• O(k² log k + k log n) の同じクラスタ内クエリを用いる確率的多項式時間（BPP）アルゴリズムが設計され、n 個のインスタンスをクラスタリングする。
• アルゴリズムは O(kn log n) の時間で実行され、標準的なk-meansソルバーよりも計算コストが著しく低減される。
• マージン条件を活用することで、クエリの応答が情報量が多く、高い確率で正しいクラスタリングに導くことが保証される。
• 理論的分析では、確率論的手法とマージン条件の幾何的性質を組み合わせ、クエリおよび時間の複雑さを上限で制約する。

実験結果

リサーチクエスチョン

• RQ1 少数の同じクラスタ内クエリが、NP困難なクラスタリング問題を効率的に解けるようになるか？
• RQ2 マージン条件の下でアクティブクラスタリングにおけるクエリ複雑さと計算複雑さのトレードオフは何か？
• RQ3 このフレームワークで計算的に効率的なクラスタリングアルゴリズムを達成するために、どの程度の同じクラスタ内クエリが必要か？
• RQ4 専門家のラベル行動（同じクラスタ内クエリを通じて）が、多項式時間のクラスタリング解を可能にする条件は何か？
• RQ5 このアクティブラーニング設定において、効率的なクラスタリングを達成するためのクエリ複雑さの下界を確立できるか？

主な発見

• 提示されたBPPアルゴリズムは、O(kn log n) の時間でk-meansクラスタリングを解き、同じクラスタ内クエリをわずか O(k² log k + k log n) 回のみ使用する。
• アルゴリズムの成功は、専門家の応答が有効なk-means解と整合的であることを保証するマージン条件の下で保証される。
• マージン条件がなければ、問題は依然としてNP困難のままであり、効率性のための構造的仮定の必要性が示される。
• クエリ数の下界が証明され、与えられたモデル下でサブ線形なクエリ数では、効率的なクラスタリングが達成できないことが示された。
• フレームワークは明確なトレードオフを確立する：クエリ数を減らすと、マージン条件を満たさない限り計算コストが増加する。
• 結果として、適切に選ばれた少数のクエリですら、そうでなければ非効率なクラスタリング問題の複雑さを著しく低減できることを示している。