[論文レビュー] A Simple Approach to Automated Spectral Clustering

Jicong Fan, Yiheng Tu+3 more|arXiv (Cornell University)|Jul 23, 2021

Face and Expression Recognition被引用数 9

ひとこと要約

本稿では、異なるアフィニティ行列構築（AMC）手法およびハイパーパrameterを用いて生成された複数の候補アフィニティ行列の間で相対固有ギャップ最大化により最適なアフィニティ行列を選択する、シンプルでありながら効果的な自動スペクトルクラスタリング手法AutoSCを提案する。本手法は、高速な最小二乗表現に基づくAMC手法と、スケーラブルな線形時間拡張を導入し、最先端の手法と比較して大規模な自然画像クラスタリングベンチマークにおいて優れた正確性と効率性を達成している。

ABSTRACT

The performance of spectral clustering heavily relies on the quality of affinity matrix. A variety of affinity-matrix-construction (AMC) methods have been proposed but they have hyperparameters to determine beforehand, which requires strong experience and leads to difficulty in real applications, especially when the inter-cluster similarity is high and/or the dataset is large. In addition, we often need to choose different AMC methods for different datasets, which still depends on experience. To solve these two challenging problems, in this paper, we present a simple yet effective method for automated spectral clustering. First, we propose to find the most reliable affinity matrix via grid search or Bayesian optimization among a set of candidates given by different AMC methods with different hyperparameters, where the reliability is quantified by the extit{relative-eigen-gap} of graph Laplacian introduced in this paper. Second, we propose a fast and accurate AMC method based on least squares representation and thresholding and prove its effectiveness theoretically. Finally, we provide a large-scale extension for the automated spectral clustering method, of which the time complexity is linear with the number of data points. Extensive experiments of natural image clustering show that our method is more versatile, accurate, and efficient than baseline methods.

研究の動機と目的

• 手動で調整されたアフィニティ行列構築（AMC）手法に依存するためのハイパーパrameter感受性に起因するスペクトルクラスタリングの課題に対処すること。
• 高いクラスタ内類似度を示す多様なデータセットにおいて、最適なAMC手法とハイパーパrameterの選択が困難であるという問題を克服すること。
• 経験に依存しない、自動化されたスペクトルクラスタリングフレームワークを構築し、正確性と効率性を向上させること。
• 効率的なサンプリングと近似技術を活用することで、線形時間計算量O(n)の拡張を設計し、大規模データセットへのスケーラビリティを実現すること。

提案手法

• k番目と(k+1)番目の固有値のギャップを最初のk個の固有値の平均で割った比率として定義される、グラフラプラシアンの信頼性を定量化する相対固有ギャップ指標を提案する。
• グリッドサーチまたはベイズ最適化を用いて、異なるAMC手法およびハイパーパrameterから生成された候補群の中から相対固有ギャップが最大となるアフィニティ行列を選択する。
• しきい値処理を施した最小二乗表現（LSR）に基づく新しいAMC手法を導入し、理論的に特定の条件下で部分空間検出を保持することを証明した。
• 効率的なサンプリングと近似技術を活用することで、O(n)の線形時間計算量を達成する、大規模データセット向けのAutoSC拡張を設計する。
• 選択された最適なアフィニティ行列を正規化カットに統合し、最終的なクラスタリングを実行する。
• 理論的分析により、LSRに基づく手法が、特定の固有値およびノルム制約を満たすハイパーパrameter条件下で部分空間検出を保持することを示した。

実験結果

リサーチクエスチョン

• RQ1 相対固有ギャップ指標は、多様なデータセットにおいて、スペクトルクラスタリングに最も適したアフィニティ行列を信頼性を持って特定できるか？
• RQ2 手動によるハイパーパrameterチューニングを排除できる完全に自動化されたスペクトルクラスタリングパイプラインをどのように設計できるか？
• RQ3 最小二乗表現に基づくAMC手法が、部分空間構造を保持する理論的保証は何か？
• RQ4 提案手法は、高いクラスタリング正確性を維持したまま大規模データセットにスケーリング可能か？
• RQ5 既存の最先端のスペクトルクラスタリング手法と比較して、AutoSCの性能と効率性はどのように異なるか？

主な発見

• AutoSCは、大規模な自然画像データセットにおいて最先端のクラスタリング正確性を達成し、SSC、LRR、深層学習ベースの手法を含む既存手法を上回っている。
• 相対固有ギャップ指標は、クラスタ間類似度が高くなっても最適なアフィニティ行列を効果的に特定でき、専門知識への依存を低減する。
• 提案されたLSRベースのAMC手法は、特定のハイパーパrameter制約を満たす場合に理論的に部分空間検出を保持することを保証しており、堅牢性を確保している。
• AutoSCの大規模データセット向け拡張は線形時間計算量O(n)を達成しており、数十万点のデータセットに対しても実用的である。
• 広範な実験により、AutoSCはベースライン手法と比較してより多様性に富み、正確性と効率性に優れていることが示された。特に、自動化および大規模な設定において顕著な優位性を示した。