[論文レビュー] Unified Spectral Clustering with Optimal Graph

Zhao Kang, Chong Peng+2 more|arXiv (Cornell University)|Nov 12, 2017

Face and Expression Recognition参考文献 14被引用数 3

ひとこと要約

本稿では、従来の3段階手法の欠点を避けるために、最適な類似性グラフと離散的クラスターラベルを一度の最適化プロセスで同時に学習する統合的スペクトルクラスタリングフレームワークを提案する。類似性学習、連続的ラベル緩和、離散的ラベル最適化を統合し、複数カーネル学習を強化することで、多様なデータセットにおいて優れたクラスタリング性能を達成し、精度、NMI、純度の面で最先端手法を上回る。

ABSTRACT

Spectral clustering has found extensive use in many areas. Most traditional spectral clustering algorithms work in three separate steps: similarity graph construction; continuous labels learning; discretizing the learned labels by k-means clustering. Such common practice has two potential flaws, which may lead to severe information loss and performance degradation. First, predefined similarity graph might not be optimal for subsequent clustering. It is well-accepted that similarity graph highly affects the clustering results. To this end, we propose to automatically learn similarity information from data and simultaneously consider the constraint that the similarity matrix has exact c connected components if there are c clusters. Second, the discrete solution may deviate from the spectral solution since k-means method is well-known as sensitive to the initialization of cluster centers. In this work, we transform the candidate solution into a new one that better approximates the discrete one. Finally, those three subtasks are integrated into a unified framework, with each subtask iteratively boosted by using the results of the others towards an overall optimal solution. It is known that the performance of a kernel method is largely determined by the choice of kernels. To tackle this practical problem of how to select the most suitable kernel for a particular data set, we further extend our model to incorporate multiple kernel learning ability. Extensive experiments demonstrate the superiority of our proposed method as compared to existing clustering approaches.

研究の動機と目的

• 従来のスペクトルクラスタリングにおける事前に定義された劣悪な類似性グラフが引き起こす性能低下を是正すること。
• k-meansによる連続的スペクトルラベルの離散化に起因する感度と近似誤差を克服すること。
• スペクトルクラスタリングの3段階（類似性グラフ構築、連続的ラベル学習、離散的ラベル割り当て）を1つの最適化フレームワークに統合すること。
• 複雑で高次元なデータに適応する最適なカーネル組み合わせを自動的に選択する複数カーネル学習の拡張を開発すること。
• 類似性グラフ、連続的ラベル、離散的クラスタ割り当てを相互に強化しながら反復的に改善する、頑健でエンドツーエンドのソリューションを提供すること。

提案手法

• 類似性グラフ、連続的クラスタ指標、離散的クラスターラベルを1つの目的関数内で同時に学習する統合的最適化フレームワークを導入する。
• カーネル空間へのマッピングを用いて柔軟でデータ適応的な類似性学習を可能にし、ユークリッド距離やk-NNのような固定メトリクスに置き換える。
• 学習された類似性行列がc個のクラスタに対して正確にc個の連結成分を持つことを制約に組み込むことで、構造的一致性を確保する。
• 連続的スペクトル解をより良い近似の離散的ラベルに変換する再割り当て戦略を適用し、真の離散解からのずれを低減する。
• 各コンポonent（グラフ、連続的ラベル、離散的ラベル）を他方の現在の状態に基づいて交互に更新する反復的交互最適化スキームを採用する。
• 単一カーネルモデルを複数カーネル学習に拡張し、最適なカーネル重みを学習することで、異種および高次元データへの適応性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 統合的最適化フレームワークにより、最適な類似性グラフと離散的クラスターラベルを同時に学習可能であり、逐次的3段階スペクトルクラスタリングパイプラインを上回るか？
• RQ2 類似性グラフと離散的ラベルのエンドツーエンド学習は、従来手法と比較して情報損失をどの程度低減するか？
• RQ3 ベンチマークデータセット上で、本手法は既存の単一カーネルおよび複数カーネルクラスタリング手法をどの程度上回るか？
• RQ4 本手法はハイパーパrameterにどの程度敏感であり、多様なデータタイプやノイズレベルにおいても頑健な性能を維持するか？
• RQ5 統合フレームワーク内での複数カーネル学習は、複雑で高次元なデータにおいてクラスタリング性能をさらに向上させるか？

主な発見

• 提案手法は9つのベンチマークデータセットにおいて、精度、NMI、純度の観点で優れたクラスタリング性能を達成し、常に最先端手法を上回る。
• 提案手法の平均性能は、従来の3段階手法よりも顕著に高く、最良の結果がわずかに近い場合でも同様に優位である。
• パrameter選択に対して極めて頑健であり、α、β、γの広い範囲において性能低下が最小限に抑えられており、強い安定性を示している。
• 複数カーネル拡張（SCMK）は単一カーネル版を常に上回る性能を発揮し、適応的カーネル組み合わせの価値を実証している。
• ランダムフォレストベースのアフィニティ手法（ClustRF-a）は画像データでは良好に機能するが、テキストデータでは失敗し、本手法の統合フレームワークに比べたその限界を示している。
• k-meansベースの手法とは異なり、本手法は1回の実行で最先端の結果を達成する。