[論文レビュー] Large-scale Multi-view Subspace Clustering in Linear Time

Zhao Kang, Wang-Tao Zhou+4 more|arXiv (Cornell University)|Nov 21, 2019

Advanced Clustering Algorithms Research参考文献 32被引用数 30

ひとこと要約

本稿では、アンカーに基づくグラフ構築と新しいグラフ統合戦略を活用することで、線形時間計算量を達成する大規模マルチビュー部分空間クラスタリング手法LMVSCを提案する。既存手法と比較して最大20倍の計算時間短縮を実現しながら、大規模データセットにおいて最先端のクラスタリング精度を達成しており、単一ビューのシナリオに対しても効果的に一般化可能である。

ABSTRACT

A plethora of multi-view subspace clustering (MVSC) methods have been proposed over the past few years. Researchers manage to boost clustering accuracy from different points of view. However, many state-of-the-art MVSC algorithms, typically have a quadratic or even cubic complexity, are inefficient and inherently difficult to apply at large scales. In the era of big data, the computational issue becomes critical. To fill this gap, we propose a large-scale MVSC (LMVSC) algorithm with linear order complexity. Inspired by the idea of anchor graph, we first learn a smaller graph for each view. Then, a novel approach is designed to integrate those graphs so that we can implement spectral clustering on a smaller graph. Interestingly, it turns out that our model also applies to single-view scenario. Extensive experiments on various large-scale benchmark data sets validate the effectiveness and efficiency of our approach with respect to state-of-the-art clustering methods.

研究の動機と目的

• 既存手法がO(n²)またはO(n³)の計算量を示すマルチビュー部分空間クラスタリング(MVSC)におけるスケーラビリティのギャップを解消すること。
• 大規模マルチビュー・データに対して全n×n類似度グラフを構築し、スペクトルクラスタリングを実行する計算のボトル neck を克服すること。
• マルチビューおよび単一ビューの両方のデータに対して、高いクラスタリング精度を維持しながら線形時間計算量を達成する手法を設計すること。
• 現在の手法が遅すぎたりメモリを多く消費するため実世界の大規模データ応用に不適切である状況において、MVSCの実用的導入を可能にすること。

提案手法

• 各ビューに対して、より小さな近似類似度グラフを構築するためにアンカー点を用いることで、O(n²)のグラフ構築コストを低減する。
• 複数のビュー固有のアンカーグラフを統合する新しいグラフ統合メカニズムを適用し、統一的でコンactなグラフ表現を生成する。
• 全データグラフではなく統合された小さなグラフ上でスペクトルクラスタリングを実行することで、固有値分解の高速化を大幅に実現する。
• アンカーに基づくグラフ上でスパース表現を同時に学習する最適化問題を定式化し、部分空間構造を保持するための正則化を導入する。
• アンカーに基づく表現学習における再構成誤差と正則化のトレードオフを調整するパラメータαを導入する。
• すべてのビューを1つのビューとして扱うことで、単一ビュークラスタリングに本手法を適応させ、線形計算量と高い性能を維持する。

実験結果

リサーチクエスチョン

• RQ1 大規模データセットに対して、クラスタリング精度を維持しながら線形時間計算量を達成できるマルチビュー部分空間クラスタリングは可能か？
• RQ2 複数のビューにまたがるアンカーに基づくグラフを効果的に構築・統合し、部分空間構造を保持できるか？
• RQ3 提案手法は、大規模ベンチマークにおいて、既存の最先端MVSC手法を精度と計算効率の両面で上回るか？
• RQ4 本手法は、既存の大規模アプローチと同等またはそれ以上の性能を示す単一ビュー部分空間クラスタリングに一般化可能か？

主な発見

• ガウスノイズを含むMNISTデータセットにおいて、LMVSCは55.65%の精度を達成し、SSCOMPの44.65%を上回り、計算時間を約1150秒から55.17秒に短縮した。
• スペックルノイズ下では、LMVSCは45.60%を記録したSSCOMPよりも顕著に高い59.20%の精度を達成し、20倍の高速化を実現した。
• ソルトアンドペッパーノイズ設定では、LMVSCは48.16%を記録したSSCOMPを上回る58.89%の精度を達成し、73.33秒で処理を完了した。
• 単一ビューデータでは、RCV1においてk-meansの18.46%から19.29%へ、CoverTypeでは25.05%から38.62%へと精度が向上し、妥当な実行時間で処理が可能であった。
• 本手法は50万サンプルを超えるデータセット（例：CoverType）にもスケーリング可能であり、SSCOMPは24時間以内に処理を完了できず、他の手法はメモリ不足に陥った。
• パラメータ解析の結果、アンカーの数が多すぎたりαの値が高すぎると性能が低下することが判明し、最適なチューニングが堅牢性にとって不可欠であることが示された。