[論文レビュー] Structured Graph Learning for Scalable Subspace Clustering: From Single-view to Multi-view

Zhao Kang, Zhiping Lin+2 more|arXiv (Cornell University)|Feb 16, 2021

Advanced Clustering Algorithms Research参考文献 70被引用数 10

ひとこと要約

本稿では、アンカーポイントと双方向グラフを用いて、線形時間計算量を達成し、接続性制約によってクラスタ構造を明示的に強制し、テスト時拡張をサポートするスケーラブルで構造に配慮したグラフ学習フレームワークを、部分空間クラスタリングのために提案する。この手法は、大規模なNUS-WIDEを含む単一およびマルチビューのデータセットにおいて、精度、純度、効率性の面で最先端の手法を上回り、10回未満の反復で収束を確認している。

ABSTRACT

Graph-based subspace clustering methods have exhibited promising performance. However, they still suffer some of these drawbacks: encounter the expensive time overhead, fail in exploring the explicit clusters, and cannot generalize to unseen data points. In this work, we propose a scalable graph learning framework, seeking to address the above three challenges simultaneously. Specifically, it is based on the ideas of anchor points and bipartite graph. Rather than building a $n imes n$ graph, where $n$ is the number of samples, we construct a bipartite graph to depict the relationship between samples and anchor points. Meanwhile, a connectivity constraint is employed to ensure that the connected components indicate clusters directly. We further establish the connection between our method and the K-means clustering. Moreover, a model to process multi-view data is also proposed, which is linear scaled with respect to $n$. Extensive experiments demonstrate the efficiency and effectiveness of our approach with respect to many state-of-the-art clustering methods.

研究の動機と目的

• 完全なn×nグラフ構築と固有値分解による計算量がO(n³)に比例する従来のグラフベースの部分空間クラスタリング手法の高い計算コストに対処する。
• 既存手法におけるクラスタ構造の明示的欠如を克服し、クラスタメンバーシップを直接反映する接続性制約を導入することで、クラスタ構造を明示的に強制する。
• 再トレーニングなしに新しい未観測データポイントをクラスタリングできるように、テスト時一般化を可能にする。
• スケーラブルな単一ビューのフレームワークをマルチビューのデータに拡張し、線形複雑性を維持するとともに性能を保持する。
• グラフベースのクラスタリングとK-meansの間の理論的ギャップを埋めるために、形式的な関連性を確立する。

提案手法

• 完全なn×n類似度グラフの代わりに、データサンプルと少数のアンカーポイントの間で双方向グラフを構築することで、メモリと計算量をO(n)に削減する。
• 学習されたグラフ内の連結成分が直接クラスタに対応するように、接続性制約を導入し、明示的なクラスタ構造の発見を可能にする。
• グラフとクラスタ指標を同時に学習する最適化問題を定式化し、スぺクトルグラフの性質を活用してクラスタの一貫性を保証する。
• 提案手法とK-meansクラスタリングの間の理論的リンクを確立し、ある条件下で目的関数の最小化がK-means最適化と一致することを示す。
• 各ビュー固有のグラフを学習し、コンSENSUSクラスタリング戦略を用いて統合することで、マルチビューのデータにフレームワークを拡張し、線形スケーラビリティを維持する。
• ハイパーパrameterチューニングにはグリッドサーチを用い、特にマルチビュー設定における正則化パラメータγに注力する。

実験結果

リサーチクエスチョン

• RQ1 グラフベースの部分空間クラスタリング手法は、クラスタリング精度を維持しつつ、線形時間計算量を達成できるか？
• RQ2 グラフ構造における接続性制約は、スペクトルクラスタリングなどの後処理に依存せずに、明示的なクラスタ形成を直接強制できるか？
• RQ3 提案手法は、オンラインまたはストリーミング環境での展開を想定した、未学習のデータポイントへの一般化が可能か？
• RQ4 スケーラビリティとクラスタリング品質の観点から、提案手法は既存の最先端手法と比較してどのように性能を発揮するか？
• RQ5 提案されたグラフ学習フレームワークとK-meansクラスタリングの間には、どのような理論的関係があるか？

主な発見

• Caltech-7データセットでは、MSGLが73.31%の精度と52.47%のNMIを達成し、LMVSC（72.66%の精度、51.93%のNMI）および他のベースラインを上回った。
• Citeseerでは、MSGLが54.47%の精度と26.54%のNMIを達成し、LMVSC（52.26%の精度、25.71%のNMI）および他の手法を上回った。
• 大規模なNUS-WIDEデータセットでは、MSGLが547.58秒（±32.11）でクラスタリングを完了し、MSC_IASの45,386秒を大幅に上回ったが、16.31%の精度と12.26%のNMIを達成した。
• すべての3つのデータセットにおいて、目的関数は10反復以内に収束し、アルゴリズムの高速収束性と安定性を確認した。
• MSGLは、すべてのデータセットで精度、NMI、純度のすべての指標において高い性能を維持しており、強靭性とスケーラビリティを示した。
• この手法は線形時間計算量を達成し、テスト時拡張をサポートしており、現実世界の、大規模かつ動的データの応用に適している。