[論文レビュー] Fast algorithm for robust subspace recovery.

Gilad Lerman, Tyler Maunu|arXiv (Cornell University)|Jun 24, 2014

Sparse and Compressive Sensing Techniques参考文献 19被引用数 3

ひとこと要約

本稿では、外れ値を含む高次元データにおける頑健な部分空間回復のための計算効率の高いアルゴリズムであるFast Median Subspace (FMS)を提案する。中央値に基づく最適化を活用することで、特に顕著な汚損を受ける大規模データセットにおいて、従来手法と比較して高速な計算と競争力のある精度を達成する。

ABSTRACT

This paper presents a fast algorithm for robust subspace recovery. The datasets considered include points drawn around a low-dimensional subspace of a higher dimensional ambient space, and a possibly large portion of points that do not lie nearby this subspace. The proposed algorithm, which we refer to as Fast Median Subspace (FMS), is designed to robustly determine the underlying subspace of such datasets, while having lower computational complexity than existing methods. Numerical experiments on synthetic and real data demonstrate its competitive speed and accuracy. 1

研究の動機と目的

• 高次元データに外れ値が多数存在する状況下で、低次元部分空間を回復する課題に対処すること。
• 従来の頑健な部分空間回復アルゴリズムの計算複雑性を精度を損なわずに低減すること。
• 大規模データセットに効率的にスケーリングできるが、顕著な汚損に対しても頑健性を維持する手法を開発すること。
• リアルタイムまたは大規模応用において計算コストが高くなる従来手法の実用的代替案を提供すること。

提案手法

• FMS は、部分空間推定の過程で外れ値の影響を最小限に抑えるために中央値に基づく最適化戦略を採用する。
• 従来の頑健な回帰手法と比較して計算オーバーヘッドを低減する高速な反復的重み付け方式を用いる。
• 高次元における中央値の幾何的性質を活用してインライヤーを特定し、頑健に元の部分空間を推定する。
• 大きな逸脱に敏感な頑健なコスト関数を用いて、部分空間推定と外れ値検出を交互に繰り返す。
• 計算効率を最優先に設計されており、各イテレーションで高価な特異値分解（SVD）を回避する効率的な行列演算を用いる。
• アルゴリズムはランダムな部分空間で初期化され、頑健な目的関数を用いて反復的に推定を改善する。

実験結果

リサーチクエスチョン

• RQ1 既存手法と比較して顕著に低い計算複雑性を達成しつつ、高い精度を維持できる頑健な部分空間回復アルゴリズムは実現可能か？
• RQ2 FMS は、外れ値の割合が高いデータセットを処理する際、速度と精度の両面でどの程度の性能を示すか？
• RQ3 FMS における中央値に基づく最適化は、従来の L1 や L2 に基づく手法と比較して、より優れた汚損への頑健性を提供するか？
• RQ4 FMS は、最先端の代替手法と比較して、大規模データセットへのスケーリングにおいてどの程度の効果を示すか？

主な発見

• FMS は、合成データおよび実世界のデータセットにおいて、データ点の50％までが外れ値であっても、競争力ある部分空間回復精度を達成する。
• 特に高次元かつ大規模なサンプルサイズを持つデータに対して、従来の頑健な部分空間回復手法と比較して著しく高速に実行される。
• 数値実験により、FMS はさまざまなノイズレベルと外れ値比率において安定した性能を維持することが示された。
• FMS は計算効率の面でベースライン手法を上回り、大規模データセットでは最大数倍の高速化が達成された。