[論文レビュー] Scalable Support Vector Clustering Using Budget

Tung Pham, Trung Le+1 more|arXiv (Cornell University)|Sep 19, 2017

Anomaly Detection Techniques and Applications参考文献 8被引用数 3

ひとこと要約

本稿では、従来のサポートベースのクラスタリングにおける高い計算コストを克服するため、予算制約を課した確率的勾配降下法（SGD）を用いたスケーラブルなサポートベクタクラスタリング手法を提案する。ノベルティのドメインを超平面でモデル化し、予算付きSGDを採用することで、ベースラインと同等のクラスタリング品質を達成するとともに、特に大規模データセットにおいて、トレーニング時間とクラスタリング時間を顕著に短縮する。

ABSTRACT

Owing to its application in solving the difficult and diverse clustering or outlier detection problem, support-based clustering has recently drawn plenty of attention. Support-based clustering method always undergoes two phases: finding the domain of novelty and performing clustering assignment. To find the domain of novelty, the training time given by the current solvers is typically over-quadratic in the training size, and hence precluding the usage of support-based clustering method for large-scale datasets. In this paper, we propose applying Stochastic Gradient Descent (SGD) framework to the first phase of support-based clustering for finding the domain of novelty and a new strategy to perform the clustering assignment. However, the direct application of SGD to the first phase of support-based clustering is vulnerable to the curse of kernelization, that is, the model size linearly grows up with the data size accumulated overtime. To address this issue, we invoke the budget approach which allows us to restrict the model size to a small budget. Our new strategy for clustering assignment enables a fast computation by means of reducing the task of clustering assignment on the full training set to the same task on a significantly smaller set. We also provide a rigorous theoretical analysis about the convergence rate for the proposed method. Finally, we validate our proposed method on the well-known datasets for clustering to show that the proposed method offers a comparable clustering quality while simultaneously achieving significant speedup in comparison with the baselines.

研究の動機と目的

• データセットサイズに二次超増加する計算複雑性を示す従来のサポートベースのクラスタリング手法の課題を解決すること。
• 遅い最適化ソルバーの代わりに確率的勾配降下法（SGD）フレームワークを導入することで、大規模データセットにおけるスケーラブルなクラスタリングを実現すること。
• モデルサイズがデータ量に線形に増加するカーネル化の呪いを軽減するため、サポートベクタの蓄積を制限する予算制約を導入すること。
• 全トレーニングセットではなく均衡点に注目することで計算量を削減する、新たなクラスタリング割り当て戦略の開発。
• サポートベクタクラスタリングの文脈において、提案された予算付きSGDベースの最適化の厳密な理論的収束解析を提供すること。

提案手法

• 従来の超球ベースのノベルティドメインを、SGDによる最適化を可能にする超平面に置き換える。
• 文献[33]のSGDフレームワークを応用し、特徴空間における最適な超平面を求める最適化問題を解く。
• サポートベクタの数を制限し、モデルサイズの爆発的増加を防ぐために、予算維持手順（削除、射影、または統合）を導入する。
• 各データポイントが均衡点へと軌道を描いて移動する新たなクラスタリング割り当て戦略を提案し、割り当ての計算量を小さな均衡点集合に削減する。
• 予算管理のための3つのバリエーションを実装：BSGD-R（削除）、BSGD-PNN（k近傍探索による射影）、BSGD-PRN（kランダム近傍による射影）。
• 理論的分析により、標準的な仮定の下で提案された予算付きSGD手法の収束が保証され、安定性と性能が裏付けられる。

実験結果

リサーチクエスチョン

• RQ1 サポートベクタクラスタリングのノベルティドメインフェーズに、SGDベースの最適化を効果的に適用することでスケーラビリティを達成できるか？
• RQ2 カーネル化されたSGDにおけるクラスタリングの文脈で、予算制約がカーネル化の呪いをどのように緩和するか？
• RQ3 均衡点の軌道に基づく提案されたクラスタリング割り当て戦略は、クラスタリング品質を損なわせることなく計算コストを削減できるか？
• RQ4 実世界のデータセットにおいて、提案手法は最先端のベースラインと比較して、クラスタリング精度とトレーニング速度の両面で優れているか？
• RQ5 サポートベクタクラスタリングの文脈において、提案された予算付きSGDアルゴリズムの理論的収束速度は何か？

主な発見

• 提案手法は15のベンチマークデータセットにおいて、最先端のベースラインと同等のクラスタリング品質を達成し、15のうち12のデータセットで最高の純度を記録した。
• BSGD-R（削除戦略）は、特にMuskやShuttleなどの大規模データセットにおいて、すべてのベースラインを上回る速さでクラスタリング割り当てを実行する。
• D31データセットでは、トレーニング時間をSVCの467.72秒からBSGD-Rの4.58秒に短縮し、100倍の高速化を達成した。
• 15のすべてのデータセットで最高のDBインデックスを達成し、クラスタの凝集性と分離性が優れていることを示した。
• BSGD-PNNはBSGD-PRNよりわずかに遅いが、15のうち11のデータセットで最高のNMIを記録し、正規化相互情報量の観点から優れた性能を示した。
• 理論的分析により、提案された予算付きSGD手法の収束が確認され、そのスケーラビリティと頑健性の基盤が確立された。