[論文レビュー] Large-scale subspace clustering using sketching and validation

Panagiotis A. Traganitis, Konstantinos Slavakis+1 more|arXiv (Cornell University)|Oct 6, 2015

Face and Expression Recognition参考文献 18被引用数 3

ひとこと要約

本稿では、スケッチングと検証を用いることで大規模データのスケーラブルで高精度なクラスタリングを実現する、ランダム化された部分空間クラスタリング手法SkeVa-SCを提案する。カーネル密度推定とRANSACにインspiredされたスパarsity対応サンプリングを活用することで、計算コストを著しく削減しつつも、競争力のある性能を達成した。理論的境界と合成および実世界データセットを用いた広範な実験により、有効性が検証された。

ABSTRACT

The nowadays massive amounts of generated and communicated data present major challenges in their processing. While capable of successfully classifying nonlinearly separable objects in various settings, subspace clustering (SC) methods incur prohibitively high computational complexity when processing large-scale data. Inspired by the random sampling and consensus (RANSAC) approach to robust regression, the present paper introduces a randomized scheme for SC, termed sketching and validation (SkeVa-)SC, tailored for large-scale data. At the heart of SkeVa-SC lies a randomized scheme for approximating the underlying probability density function of the observed data by kernel smoothing arguments. Sparsity in data representations is also exploited to reduce the computational burden of SC, while achieving high clustering accuracy. Performance analysis as well as extensive numerical tests on synthetic and real data corroborate the potential of SkeVa-SC and its competitive performance relative to state-of-the-art scalable SC approaches. Keywords: Subspace clustering, big data, kernel smoothing, randomization, sketching, validation, sparsity.

研究の動機と目的

• 大規模かつ高次元のデータを処理する際、従来の部分空間クラスタリング（SC）手法に見られる高い計算複雑性に対処すること。
• データ量や次元数にかかわらず高いクラスタリング精度を維持しつつ、ランダム化されスケーラブルなSCフレームワークを構築すること。
• 大規模な設定において、真の確率密度関数（pdf）の信頼性のある近似を得るために必要なスケッチング反復回数に関する理論的性能境界を提供すること。
• データ表現におけるスパarsityを統合することで、精度を損なわずに計算オーバーヘッドをさらに削減すること。
• 合成および実世界データを用いて、最先端のスケーラブルなSCアルゴリズムと比較して、提案手法の有効性を検証すること。

提案手法

• 本手法はRANSACにインspiredされたスケッチング・バリデーションフレームワークを採用し、データのランダムな部分集合を用いて、元のデータの確率密度関数（pdf）を近似する。
• カーネルスムージングを適用して、ガウスカーネルを用いてデータのpdfを推定することで、複雑で多次元な分布の非パラメトリック近似を可能にする。
• データ表現におけるスパarsityを活用することで、クラスタリングの計算コストを削減しながらも、精度を保持する。
• 推定されたpdfと基準pdfとの間の発散測度を用いたバリデーションステップにより、最も性能の良いスケッチを選択し、ノイズや外れ値に対して耐性を確保する。
• カーネル密度推定と集中不等式を用いて理論的性能境界を導出し、スケッチの品質に関する確率的保証を提供する。
• 最終的なクラスタリングは、最良のスケッチを用いて全データセット上で実行され、スケーラビリティと精度の両立を実現する。

実験結果

リサーチクエスチョン

• RQ1 ランダム化されたスケッチングとバリデーションフレームワークは、計算複雑性を低減しつつ、大規模な部分空間クラスタリング問題において高いクラスタリング精度を達成できるか？
• RQ2 真のデータpdfを高い確率で信頼性を持って近似するためには、最小で何回の独立したスケッチング反復が必要か？
• RQ3 データ表現におけるスパarsityの統合は、大規模なSCにおける計算効率とクラスタリング精度のトレードオフにどのように影響を与えるか？
• RQ4 合成および実世界データセットにおいて、SkeVa-SCは最先端のスケーラブルなSC手法と比較して、精度と実行時間の両面で優れているか？
• RQ5 ノイズや高次元データが存在する状況下でも、スケッチングプロセスの収束性と耐性にどのような理論的保証を提供できるか？

主な発見

• SkeVa-SCは、画像や動画データを含む合成および実世界データセットにおいて、最先端のスケーラブルなSC手法と同等のクラスタリング精度を達成した。
• 理論的分析により、信頼性のあるpdf近似を得るために必要なスケッチング反復回数が、データサイズや次元数に伴い良好にスケーリングされること、および集中不等式を用いた高い確率の境界が得られることを示した。
• スパarsityとランダムな部分集合抽出を活用することで、計算複雑性を著しく低減し、大規模データセットの効率的処理を可能にした。
• pdf発散に基づくバリデーションステップにより、ノイズや外れ値の影響を受けることなく、最も良いスケッチの安定的選択が可能となり、精度と安定性が向上した。
• 実験結果により、データポイント数が数十万に達する場合でもSkeVa-SCが高精度を維持することが確認され、実行時間とスケーラビリティの面でベースライン手法を上回った。
• 真のpdfと推定pdfとの距離 $ d(f, \hat{f}) $ に対する上界が、サンプルサイズ $ n $ の増加に伴い減少することが示され、本手法の一貫性を支持した。