[論文レビュー] Efficient Sparse Subspace Clustering by Nearest Neighbour Filtering

Stephen Tierney, Yi Guo+1 more|arXiv (Cornell University)|Apr 13, 2017

Face and Expression Recognition参考文献 47被引用数 7

ひとこと要約

本稿では、スパース部分空間クラスタリング（SSC）のスケーラブルな近似手法k-SSCを提案する。k-NNフィルタリングを用いてSSCの前処理としてデータポイントをフィルタリングすることで、計算量とメモリ使用量をO(N²)からO(N)に削減する。この手法は、クラスタリング精度を維持しつつ、顕著に効率性を向上させ、ハイパースペクトル、モーションセグメンテーション、顔クラスタリングの実験データセットにおいて、既存の近似手法を上回る性能を示した。

ABSTRACT

Sparse Subspace Clustering (SSC) has been used extensively for subspace identification tasks due to its theoretical guarantees and relative ease of implementation. However SSC has quadratic computation and memory requirements with respect to the number of input data points. This burden has prohibited SSCs use for all but the smallest datasets. To overcome this we propose a new method, k-SSC, that screens out a large number of data points to both reduce SSC to linear memory and computational requirements. We provide theoretical analysis for the bounds of success for k-SSC. Our experiments show that k-SSC exceeds theoretical expectations and outperforms existing SSC approximations by maintaining the classification performance of SSC. Furthermore in the spirit of reproducible research we have publicly released the source code for k-SSC

研究の動機と目的

• データサイズに比例して2次的に増加する計算コストとメモリ使用量の問題を解決する。これは、大規模データセットへのSSCの適用を制限している。
• 理論的保証とクラスタリング性能を維持しつつ、リソース要件を著しく削減する、SSCのスケーラブルな近似手法を開発する。
• ハイパースペクトル画像、モーションセグメンテーション、高次元顔データなどの大規模データセットにおけるSSCの実用的導入を可能にする。
• ノイズとサンプリング条件下でのk-SSC手法の成功に関する理論的境界を提供する。
• k-SSCのソースコードを公開することで、再現可能性を確保する。

提案手法

• 各サンプルに対して最も関連性の高いデータポイントのみを事前に選択するため、k-NNフィルタリングを適用し、スパース表現の候補集合を削減する。
• k-NN近傍点のみを用いて縮小されたアフィニティ行列を構築することで、係数行列ZのサイズをO(N²)からO(N)に制限する。
• フィルタリング済みデータに対して標準的なSSC最適化を適用する：λ‖Z‖₁ + ½‖X - XZ‖²_F を最小化し、diag(Z) = 0 を満たす。ここでZはN×kのスパース行列である。
• 最終的なアフィニティ行列に対してスペクトルクラスタリングを適用し、部分空間ラベルを割り当てる。これにより、SSCのクラスタリングパイプラインを保持する。
• 理論的分析により、サンプリングが十分でかつノイズが有界であれば、k-SSCはSSCと同等の部分空間同定性能を達成可能であることが示された。
• k-NNフィルタリングステップは、遠く離れた、誤解を招く可能性のある点を除外することで、ノイズ低減機構として機能する。

実験結果

リサーチクエスチョン

• RQ1 k-NNフィルタリング戦略は、クラスタリング精度を損なわず、SSCの計算量とメモリ使用量をO(N²)からO(N)に削減できるか？
• RQ2 k-SSCはどのような理論的条件下で、SSCと同等の部分空間同定性能を維持できるか？
• RQ3 k-SSCは、TSC、SSSC、GSCなどの既存のSSC近似手法と比較して、大規模データセットにおけるクラスタリング精度と実行時間の両面で優れているか？
• RQ4 k-SSCの積極的なフィルタリングは、影のある顔画像などの実世界データにおけるノイズや欠損にさらされた状況でも、耐性を高めているか？
• RQ5 k-SSCはハイパースペクトル、モーション、顔クラスタリングの多様なデータタイプにおいて、高い性能を維持できるか？

主な発見

• k-SSCは、メモリ使用量と計算コストをO(N²)からO(N)に削減し、大規模データセットの効率的処理を可能にした。
• 半実験的ハイパースペクトルTIRデータセットでは、k-SSCはSSCの性能をよく再現し、平均誤差、中央値誤差、最大誤差、最小誤差のすべての指標で、他の近似手法を上回った。
• 大規模な熱赤外セグメンテーション実験では、k-SSCの実行時間はTSCやSSSCと同程度にスケーリングされ、高い精度を維持した。
• Hopkins 155モーションセグメンテーションデータセットでは、PSNRが低下する中でもk-SSCはSSCの性能を再現し、ノイズに強いことを示した。
• 拡張版Yale B顔データセットでは、k-SSCは平均誤差22.3%を達成し、SSC（28.1%）および他のすべての近似手法を上回った。これは、k-NNによる効果的なノイズフィルタリングによるものと推定される。
• k-SSCのソースコードはGitHubで公開されており、再現性の高い研究とコミュニティの採用を支援している。