[論文レビュー] Robust subspace recovery by geodesically convex optimization

Teng Zhang|arXiv (Cornell University)|Jun 7, 2012

Advanced Statistical Methods and Models参考文献 23被引用数 12

ひとこと要約

本稿では、正定値行列の多様体上の測地線的凸最適化として問題を定式化することにより、頑健な部分空間回復のためのタイラーM推定量を提案する。目的関数が測地線的凸であることを証明し、一意な最小化子を有することを示し、外れ値の割合が有界である場合に正確な部分空間回復が達成可能であることを示す。

ABSTRACT

We introduce Tyler's M-estimator to robustly recover the underlying linear model from a data set contaminated by outliers. We prove that the objective function of this estimator is geodesically convex on the manifold of all positive definite matrices and have a unique minimizer. Besides, we prove that when inliers (i.e., points that are not outliers) are sampled from a subspace and the percentage of outliers is bounded by some number, then under some very weak assumptions a commonly used algorithm of this estimator can recover the underlying subspace exactly. We also show that empirically this algorithm compares favorably with other convex algorithms of subspace recovery.

研究の動機と目的

• 高次元データにおける外れ値が存在する状況下での部分空間回復の課題に取り組む。
• 大きな割合のデータ点が外れ値である場合でも精度を維持する頑健な推定手法を開発する。
• 弱い仮定のもとで、元の部分空間の正確な回復を保証する理論的保証を確立する。
• 実験的評価を通じて、既存の凸アルゴリズムと比較して提案手法の優位性を示す。

提案手法

• タイラーM推定量を用いて、正定値行列の多様体上での最適化問題として部分空間回復を定式化する。
• タイラーM推定量の目的関数が、正定値行列の多様体上で測地線的凸であることを証明する。
• 測地線的凸な目的関数に対して一意な最小化子が存在することを確立する。
• 測地線的凸性の下で最小化するための一般的に用いられるアルゴリズムを適用し、元の部分空間を回復する。
• インライナー分布に対して弱い仮定に依存し、インライナーが部分空間上に存在することを前提とする。
• リーマン多様体上の幾何最適化技術を用いて、外れ値が存在する状況でも収束性と安定性を確保する。

実験結果

リサーチクエスチョン

• RQ1 タイラーM推定量は、正定値行列の多様体上で測地線的凸最適化問題として定式化可能か？
• RQ2 タイラーM推定量の測地線的凸な目的関数は、一意な最小化子を保証するか？
• RQ3 外れ値が存在する状況で、どのような条件下でアルゴリズムが真の部分空間を正確に回復できるか？
• RQ4 実際の応用において、このアルゴリズムは他の凸部分空間回復手法と比較してどのように性能を発揮するか？
• RQ5 外れ値の割合が有界である場合、正確な部分空間回復の理論的保証はどのようなものか？

主な発見

• タイラーM推定量の目的関数は、正定値行列の多様体上で測地線的凸であり、一意な最小化子を保証する。
• インライナーが部分空間から抽出され、外れ値の割合が定数で有界である場合、正確な部分空間回復が保証される。
• インライナー分布に対する仮定が極めて弱いため、理論的回復保証は広い範囲に適用可能である。
• 実験的に、提案手法は他の凸アルゴリズムに比べて、頑健性と精度の面で優れていることが示された。
• 目的関数の測地線的凸性により、リーマン多様体上での標準アルゴリズムを用いた安定的かつ効率的な最適化が可能である。