[論文レビュー] Clustering by Low-Rank Doubly Stochastic Matrix Decomposition

Zhirong Yang, Erkki Oja|arXiv (Cornell University)|Jun 18, 2012

Sparse and Compressive Sensing Techniques参考文献 16被引用数 19

ひとこと要約

本論文は、低ランク二重確率行列分解に基づく新しいクラスタリング手法を提案し、クラスタリングを仮想的クラスターノードを通る2段階の双方向ランダムウォークとしてモデル化する。観測された割り当て確率と近似された確率の間のカルバック・ライバラー情報量の最小化により、特に大規模な多様体データにおいて優れたクラスタリング純度を達成する。最適化には緩和された主要化最小化（Majorization-Minimization）アルゴリズムを用い、効果的な収束を実現する。

ABSTRACT

Clustering analysis by nonnegative low-rank approximations has achieved remarkable progress in the past decade. However, most approximation approaches in this direction are still restricted to matrix factorization. We propose a new low-rank learning method to improve the clustering performance, which is beyond matrix factorization. The approximation is based on a two-step bipartite random walk through virtual cluster nodes, where the approximation is formed by only cluster assigning probabilities. Minimizing the approximation error measured by Kullback-Leibler divergence is equivalent to maximizing the likelihood of a discriminative model, which endows our method with a solid probabilistic interpretation. The optimization is implemented by a relaxed Majorization-Minimization algorithm that is advantageous in finding good local minima. Furthermore, we point out that the regularized algorithm with Dirichlet prior only serves as initialization. Experimental results show that the new method has strong performance in clustering purity for various datasets, especially for large-scale manifold data.

研究の動機と目的

• 従来の行列分解手法における制限を克服するため、要因分解に依存しない低ランク近似フレームワークを導入すること。
• 標準的手法が性能を発揮しにくい大規模かつ複雑な多様体構造を有するデータセットにおいて、クラスタリング性能を向上させること。
• カルバック・ライバラー情報量の最小化による尤度最大化に基づく、理論的裏付けの強い確率的基礎を有する手法を開発すること。
• 高品質な局所最適解を効率的に探索できる緩和された主要化最小化（Majorization-Minimization）最適化戦略により、頑健なクラスタリングを実現すること。
• ディリクレ事前分布を用いた原理的初期化を提供し、その後は主な最適化プロセスに移行することで、最終的なクラスタリング結果に影響を与えないこと。

提案手法

• データポイントと仮想的クラスターノードの間の2段階の双方向ランダムウォークとしてクラスタリングを定式化し、低ランク近似を生成する。
• 行と列の和がいずれも1に制約された二重確率行列を構築し、確率質量の保存を保証する。
• 観測された類似度行列と低ランク近似との間の近似誤差を測る目的関数として、カルバック・ライバラー情報量を用いる。
• KL情報量の最小化を、判別的確率モデルにおける尤度最大化問題として定式化し、理論的根拠を提供する。
• 緩和された主要化最小化（MM）アルゴリズムを用いて最適化を実装し、高品質な局所最適解への収束を効率的に達成する。
• 正則化付きのアルゴリズムにおけるディリクレ事前分布は、最終的な推論プロセスの一部ではなく、初期化ステップとしてのみ使用する。

実験結果

リサーチクエスチョン

• RQ1 低ランク二重確率行列分解アプローチは、標準的な行列分解手法よりもクラスタリングタスクで優れた性能を発揮するか？
• RQ2 仮想的クラスターノードを通る2段階のランダムウォークとしてクラスタリングをモデル化することで、データクラスタの表現力と分離性が向上するか？
• RQ3 KL情報量の最小化による確率的解釈は、クラスタリングの頑健性と解釈可能性をどの程度向上させるか？
• RQ4 緩和された主要化最小化アルゴリズムは、大規模データセットにおいて高品質なクラスタリング解を達成するためにどの程度効果的か？
• RQ5 本手法は、従来手法が失敗しやすい多様体構造を有するデータにおいても、強力な性能を維持するか？

主な発見

• 提案手法は、特に大規模な多様体データセットにおいて、ベースライン手法と比較して優れたクラスタリング純度を達成する。
• カルバック・ライバラー情報量を目的関数として用いることで、尤度最大化に基づく原理的確率的解釈が可能になる。
• 緩和された主要化最小化アルゴリズムは、収束性と安定性を向上させながら、高品質な局所最適解を効果的に探索する。
• ディリクレ事前分布は初期化にのみ使用され、最終的なクラスタリング結果に影響を与えないため、主な最適化プロセスの頑健性が示された。
• 実験的結果により、多様なデータセットにわたる強力な一般化性能が確認され、特に複雑で高次元な多様体において、クラスタリング精度が顕著に向上した。