[論文レビュー] Learning Generative Models of Similarity Matrices

Rómer Rosales, Brendan J. Frey|arXiv (Cornell University)|Oct 19, 2012

Face and Expression Recognition参考文献 16被引用数 7

ひとこと要約

本論文は、類似度行列のための生成的確率的モデルを提案し、データクラスタリングを潜在変数モデルにおける推論問題として定式化する。類似度行列を生成プロセスとしてモデル化することにより、クラスタ構造とその背後にある距離尺度の共同学習が可能となり、スペクトルクラスタリングや他の手法が失敗するような困難なクラスタリングタスクにおいて優れた性能を発揮する。複数のデータセットにおける実証的検証によりその有効性が裏付けられている。

ABSTRACT

We describe a probabilistic (generative) view of affinity matrices along with inference algorithms for a subclass of problems associated with data clustering. This probabilistic view is helpful in understanding different models and algorithms that are based on affinity functions OF the data. IN particular, we show how(greedy) inference FOR a specific probabilistic model IS equivalent TO the spectral clustering algorithm.It also provides a framework FOR developing new algorithms AND extended models. AS one CASE, we present new generative data clustering models that allow us TO infer the underlying distance measure suitable for the clustering problem at hand. These models seem to perform well in a larger class of problems for which other clustering algorithms (including spectral clustering) usually fail. Experimental evaluation was performed in a variety point data sets, showing excellent performance.

研究の動機と目的

• データクラスタリングにおける類似度行列のモデリングのための確率的生成フレームワークの開発。
• データからクラスタ構造とその背後にある距離尺度の両方を共同で推論可能にする。
• 複雑または非線形なデータ分布におけるスペクトルクラスタリングや他の類似度ベース手法の限界を克服すること。
• 新しいクラスタリングアルゴリズムや拡張モデルの設計のための原則的基盤を提供すること。
• 標準的手法が失敗するデータセットにおいて、改善されたクラスタリング性能を示すこと。

提案手法

• クラスタ割り当てと距離パラメータを表す潜在変数を用いて、類似度行列を生成プロセスとしてモデル化する。
• 観測された類似度から潜在変数の事後分布を近似するために変分推論を適用する。
• 特定のモデル仮定下では、数学的にスペクトルクラスタリングと同等のグリーディ推論戦略を採用する。
• 距離尺度の学習を可能にする柔軟なパラメトリック形式の類似度関数を導入する。
• 類似関係の不確実性を捉える生成モデルを採用し、頑健な推論を可能にする。
• クラスタ構造と適切な距離尺度の両方をエンドツーエンドで学習可能にするフレームワークを拡張する。

実験結果

リサーチクエスチョン

• RQ1 類似度行列の生成的モデルは、ヒューリスティックな類似度ベースクラスタリングのより原則的代替手段を提供できるか？
• RQ2 提案モデルの推論手順はスペクトルクラスタリングとどのように関係しているか？
• RQ3 モデルはデータから最適な距離尺度とクラスタ構造を同時に学習できるか？
• RQ4 生成的フレームワークは、スペクトルクラスタリングが失敗するデータセットにおいて、より優れた性能を発揮できるか？
• RQ5 類似関係の不確実性をモデル化することで、クラスタリングの頑健性にどのような影響を与えるか？

主な発見

• 提案モデルにおけるグリーディ推論手順は、特定の確率的定式化下ではスペクトルクラスタリングと数学的に同等である。
• モデルは背後にある距離尺度を効果的に学習し、標準的手法が失敗するデータセットにおいて性能向上を達成した。
• 複数の点群データセットにおける実証的評価により、特に複雑または非線形な設定において優れたクラスタリング性能を示した。
• 生成的フレームワークにより、標準的なスペクトルクラスタリングを超えた新しいクラスタリングアルゴリズムや拡張モデルの開発が可能になった。
• 本アプローチにより、類似度ベースクラスタリングの統一的確率的解釈が得られ、解釈可能性とモデルの柔軟性が向上した。
• 挑戦的なデータ分布を有するベンチマークデータセットにおいて、従来のスペクトルクラスタリングを上回る性能を示した。