[論文レビュー] Multi-View Spectral Clustering with High-Order Optimal Neighborhood Laplacian Matrix

Weixuan Liang, Sihang Zhou+6 more|arXiv (Cornell University)|Aug 31, 2020

Face and Expression Recognition参考文献 36被引用数 9

ひとこと要約

本稿では、1次および高次ラプラシアン行列の組み合わせを基に非線形近傍探索を実行することで、高次最適近傍ラプラシアン行列を学習する、新たなマルチビュースペクトルクラスタリング手法ONMSCを提案する。この手法により表現能力が向上し、収束する最適化アルゴリズムを用いることで計算複雑度が低減され、9つのデータセットおよびMNISTで最先端の結果を達成し、94.09%の正確性と27.4秒の実行時間となった。

ABSTRACT

Multi-view spectral clustering can effectively reveal the intrinsic cluster structure among data by performing clustering on the learned optimal embedding across views. Though demonstrating promising performance in various applications, most of existing methods usually linearly combine a group of pre-specified first-order Laplacian matrices to construct the optimal Laplacian matrix, which may result in limited representation capability and insufficient information exploitation. Also, storing and implementing complex operations on the $n imes n$ Laplacian matrices incurs intensive storage and computation complexity. To address these issues, this paper first proposes a multi-view spectral clustering algorithm that learns a high-order optimal neighborhood Laplacian matrix, and then extends it to the late fusion version for accurate and efficient multi-view clustering. Specifically, our proposed algorithm generates the optimal Laplacian matrix by searching the neighborhood of the linear combination of both the first-order and high-order base Laplacian matrices simultaneously. By this way, the representative capacity of the learned optimal Laplacian matrix is enhanced, which is helpful to better utilize the hidden high-order connection information among data, leading to improved clustering performance. We design an efficient algorithm with proved convergence to solve the resultant optimization problem. Extensive experimental results on nine datasets demonstrate the superiority of our algorithm against state-of-the-art methods, which verifies the effectiveness and advantages of the proposed algorithm.

研究の動機と目的

• 既存のマルチビュースペクトルクラスタリング手法が基本ラプラシアン行列の線形結合に依存するため、表現能力が限定されている問題に対処すること。
• データサンプル間の隠れた高次近傍関係を活用してクラスタリング性能を向上させること。
• マルチビュークラスタリングにおける完全な$n \times n$ラプラシアン行列に伴うストレージおよび計算複雑度を低減すること。
• 大規模データセットにおいて高いクラスタリング正確性を維持しながら、効率的でスケーラブルなアルゴリズムを開発すること。
• さらなる複雑度低減を実現しながら性能を保持する、ラテン統合バージョンへのフレームワークの拡張すること。

提案手法

• 1次および高次ベースラプラシアン行列の線形結合の近傍内で、高次最適近傍ラプラシアン行列を探索する。
• 線形結合の範囲を越える、非線形最適化フレームワークを導入し、表現能力を向上させる。
• 収束が保証された3段階のアルゴリズムを設計し、得られた最適化問題を効率的に解く。
• ヤングストローム法をアンカーポイントを用いて適用し、大規模なクラスターマッピング行列を近似することで、時間的・空間的複雑度を低減する。
• 視覚固有の処理とコンSENSUS学習を分離するLate Fusionバージョン（ONMSC-LF）を考案し、ストレージおよび計算量を最小限に抑える。
• 視覚固有の埋め込みと最終的なクラスタ構造を同時に最適化するため、コンセンサス行列$\mathbf{H}^*$を用いる。

実験結果

リサーチクエスチョン

• RQ1 1次および高次ラプラシアン行列の組み合わせに対する非線形近傍探索は、最適ラプラシアン行列の表現能力を向上させることができるか？
• RQ2 高次アフィニティ情報を取り入れることで、1次手法に比べてより優れたクラスタリング性能が得られるか？
• RQ3 提案手法は、大規模データセットにおいて計算およびストレージ複雑度を低く保ちながら、最先端の性能を達成できるか？
• RQ4 Late Fusionバージョンは、Early Fusionと比較して、効率性および正確性の点で優れているか？
• RQ5 大規模な設定において、ヤングストローム近似の最適なアンカーポイント数は何か？

主な発見

• 提案されたONMSC手法は、MNISTデータセットで94.09%の正確性、89.9%のNMI、94.09%の純度を達成し、最先端の手法を上回った。
• アルゴリズムは30イテレーション以内に収束し、目的関数が単調に増加するため、最適化が安定していることが示された。
• ヤングストローム近似において、50個のアンカーポイントで性能が飽和し、高い正確性を得るには少数のアンカーポイントで十分であることがわかった。
• Late Fusionバージョンでは、MNISTで27.4秒の実行時間にまで短縮され、RMKMC（2935.4秒）やLMVSC（69.4秒）を著しく上回った。
• アルゴリズムが学習したコンセンサス行列$\mathbf{H}^*$は、結果の可視化から、内在するクラスタ構造を効果的に捉えていることが確認された。
• 9つのデータセットにおける広範な実験により、ONMSCが既存の最先端マルチビュークラスタリング手法を上回ることが確認された。