[論文レビュー] Active Clustering with Model-Based Uncertainty Reduction

Caiming Xiong, David Johnson+1 more|arXiv (Cornell University)|Feb 7, 2014

Face and Expression Recognition参考文献 42被引用数 5

ひとこと要約

本稿では、モデルに基づく不確実性低減を用いてクラスタリングの不確実性を最小化する、オンラインでサンプルベースのアクティブクラスタリングフレームワークを提案する。不確実性低減を1次テイラー展開を用いて分解し、勾配には行列摂動理論、ステップスケールにはクラスタ割り当てエントロピーを適用することで、効率的に情報量の多いクエリを特定する。画像データおよびUCIデータセットにおいて、最先端の手法を上回り、ノイズや未知のクラスタ数に対してもロバストである。

ABSTRACT

Semi-supervised clustering seeks to augment traditional clustering methods by incorporating side information provided via human expertise in order to increase the semantic meaningfulness of the resulting clusters. However, most current methods are \emph{passive} in the sense that the side information is provided beforehand and selected randomly. This may require a large number of constraints, some of which could be redundant, unnecessary, or even detrimental to the clustering results. Thus in order to scale such semi-supervised algorithms to larger problems it is desirable to pursue an \emph{active} clustering method---i.e. an algorithm that maximizes the effectiveness of the available human labor by only requesting human input where it will have the greatest impact. Here, we propose a novel online framework for active semi-supervised spectral clustering that selects pairwise constraints as clustering proceeds, based on the principle of uncertainty reduction. Using a first-order Taylor expansion, we decompose the expected uncertainty reduction problem into a gradient and a step-scale, computed via an application of matrix perturbation theory and cluster-assignment entropy, respectively. The resulting model is used to estimate the uncertainty reduction potential of each sample in the dataset. We then present the human user with pairwise queries with respect to only the best candidate sample. We evaluate our method using three different image datasets (faces, leaves and dogs), a set of common UCI machine learning datasets and a gene dataset. The results validate our decomposition formulation and show that our method is consistently superior to existing state-of-the-art techniques, as well as being robust to noise and to unknown numbers of clusters.

研究の動機と目的

• 被動的半教師ありクラスタリングの非効率性、すなわちランダムまたは事前に選択された制約が冗長または有害である可能性を是正すること。
• 大規模クラスタリングにおける人間のラベル付けコストを削減するため、最も情報量の多いペアワイズ制約のみを知的に選択すること。
• クラスタリングの不確実性とクラスタ構造に動的に適応する、スケーラブルでオンラインなアクティブクラスタリングフレームワークの開発。
• 実世界の応用において、ノイズの多い人間の応答や未知のクラスタ数に対してもロバストであることを保証すること。
• スペクトルクラスタリングにおける不確実性駆動クエリ選択に対して、理論的裏付けが強く、計算的にも効率的な手法の開発。

提案手法

• 本手法は、期待される不確実性低減を1次テイラー展開を用いて勾配項とステップスケール項に分解する。
• 勾配は、スペクトルクラスタリングの固有ベクトルに適用した行列摂動理論を用いて推定する。
• ステップスケールは、局所的なラベルエントロピーから計算され、1サンプルあたりの不確実性低減の可能性を表す。
• アルゴリズムは、不確実性低減の推定値が最大のサンプルを選択し、1イテレーションごとにユーザーに1つのペアワイズクエリのみを提示する。
• 本フレームワークはパラメトリックモデルおよびノンパラメトリックモデルの両方をサポートし、ノンパラメトリック版はより高いロバスト性を示す。
• クエリプロセス中に特定のサンプル集合を同定することで、クラスタ数を動的に発見する。

実験結果

リサーチクエスチョン

• RQ1 スペクトルクラスタリングにおける不確実性低減は、1次近似および行列摂動理論を用いて効果的にモデル化可能か？
• RQ2 モデルに基づくクエリ選択は、ランダムまたはヒューリスティックベースの制約選択と比較して、クラスタリングの正確性と効率性において優れているか？
• RQ3 ノイズの多い人間の応答や曖昧な真値がある条件下でも、本手法は高い性能を維持できるか？
• RQ4 事前にクラスタ数を知らなくても、真のクラスタ数をどの程度正確に発見できるか？
• RQ5 提案された不確実性低減の分解は、理論的に妥当かつ多様なデータセットにおいて実証的に有効であるか？

主な発見

• 提案手法URASC+Nは、3つの画像データセット（顔、葉、犬）および複数のUCIデータセットにおいて、最先端のアクティブおよび被動クラスタリング手法を一貫して上回った。
• Dogデータセットでは、Active-HACCおよびASCを含むすべてのベースラインを顕著に上回った。特にASCはこのデータセットで完全に失敗した。
• 2％のシミュレートされたクエリ誤り率に対しても、本手法はノイズ条件下でもランダム法および被動法を上回る性能を維持した。
• 初期にクラスタ数が不明であった場合、Face-1およびLeafデータセットにおいて、既知のk値の場合と区別できない性能に収束した。これは、動的クラスタ発見の有効性を示している。
• ノンパラメトリック版は、パラメトリック版よりも信頼性が高く、特にパラメトリック手法が性能を発揮しなかったLeafおよびDiabetesデータセットで顕著に優位であった。
• 本手法の計算効率は、最小限のユーザーインタラクションでオンラインかつインクリメンタルなクラスタリングを可能にし、大規模およびクラウドソーシング応用に適している。