[論文レビュー] Accelerated Sparse Subspace Clustering

Abolfazl Hashemi, Haris Vikalo|arXiv (Cornell University)|Oct 31, 2017

Face and Expression Recognition参考文献 18被引用数 5

ひとこと要約

本稿では、高次元データが部分空間の和に沿って分布する場合のクラスタリングに適した高速かつ高精度なアルゴリズムである加速型スパース部分空間クラスタリング（ASSC）を提案する。ASSCは、部分空間を保存する類似度行列を構築するために、加速型直交最小二乗法（OLS）の変種を用いる。ASSCは、OMPベースの手法と同等の実行時間を達成する一方で、特に部分空間の重複がある状況において顕著に優れた精度を示し、BPベースの手法と同等の精度を達成しながら、1000倍以上の高速化を実現する。

ABSTRACT

State-of-the-art algorithms for sparse subspace clustering perform spectral clustering on a similarity matrix typically obtained by representing each data point as a sparse combination of other points using either basis pursuit (BP) or orthogonal matching pursuit (OMP). BP-based methods are often prohibitive in practice while the performance of OMP-based schemes are unsatisfactory, especially in settings where data points are highly similar. In this paper, we propose a novel algorithm that exploits an accelerated variant of orthogonal least-squares to efficiently find the underlying subspaces. We show that under certain conditions the proposed algorithm returns a subspace-preserving solution. Simulation results illustrate that the proposed method compares favorably with BP-based method in terms of running time while being significantly more accurate than OMP-based schemes.

研究の動機と目的

• 基底追求（BP）に基づくスパース部分空間クラスタリングの計算効率の低さ、特に大規模データに対して遅いという問題を解決すること。
• 部分空間が非常に類似している、または重複する状況において、OMPベースの手法の性能が著しく劣ることを克服すること。
• 従来のSSCアルゴリズムに代わるスケーラブルで高速かつ高精度な代替手法を開発し、部分空間を保存する性質を維持すること。
• 独立部分空間仮定の下で部分空間保存性が保証されることの理論的裏付けを提供すること。

提案手法

• 本手法は、他の点を辞書として用いて各データ点のスパース表現を計算するために、直交最小二乗法（OLS）の加速版を採用する。
• データ行列から原子を貪欲に反復的に選択することで、スパース表現問題を解き、類似度行列を構築する。
• 数値的安定性と収束速度を向上させるために、修正された残差更新とランクを明らかにするQR分解を用いる。
• 得られた表現行列をスペクトルクラスタリングの類似度行列として用い、最終的なクラスタリング解を得る。
• 本手法はスケーラブルで効率的であり、BPベースの手法と比較して計算複雑度が顕著に低い。
• 理論的分析により、独立部分空間の条件下では、解が部分空間を保存することが示された。

実験結果

リサーチクエスチョン

• RQ1 加速型OLSのような高速で貪欲なアルゴリズムが、凸最適化（BP）と同等の部分空間保存性を持つスパース部分空間クラスタリング表現を達成できるか？
• RQ2 本手法の性能は、BPベースおよびOMPベースのSSCと比較して、クラスタリング精度と実行時間の両面でどのように異なるか？
• RQ3 部分空間が独立でない状況や、異なる部分空間に属するデータ点が非常に類似している場合に、本手法はロバスト性を保つことができるか？
• RQ4 加速型OLS手法が部分空間保存解を生成する条件は何か？
• RQ5 本手法は、クラスタリング精度を保持しつつ、大規模データセットに対しても効率的にスケーリングできるか？

主な発見

• ASSCは、SSC-OMPと同等の実行時間を達成し、特に5,000点までの大きなデータセットではSSC-BPに比べて1000倍以上高速である。
• 独立部分空間の状況では、ASSCはSSC-BPと同等の部分空間保存率と誤差を達成しており、SSC-OMPよりも顕著に高い精度を示す。
• 部分空間が従属的であるか、データ点が非常に類似している状況では、SSC-OMPの性能が著しく劣化するが、ASSCは高い精度とロバスト性を維持する。
• L=2を用いたASSCは、すべてのテスト設定においてSSC-BPおよびSSC-OMPと比較して優れたクラスタリング精度を達成する。
• ASSCの部分空間保存誤差は、SSC-OMPより一貫して低く、SSC-BPと同等であるため、独立部分空間の下での理論的保証が裏付けられる。
• 本手法はスケーラブルであり、250～5,000点のデータサイズにわたり一貫した性能を示すため、大規模データに適している。