[論文レビュー] Algorithms and Hardness for Robust Subspace Recovery

Moritz Hardt, Ankur Moitra|arXiv (Cornell University)|Nov 5, 2012

Sparse and Compressive Sensing Techniques参考文献 31被引用数 32

ひとこと要約

この論文は、R^n 内の点のうち d/n を超える点を含む d 次元部分空間を、敵対的外れ値が存在する状況でも特定できる、多項式時間のアルゴリズムを提示する。分解点（breakdown point）は 1 - d/n に達し、d/n 未満のインライヤー割合では部分空間の特定が Small Set Expansion 困難であることを示しており、効率性とロバスト性のトレードオフにおいて最適性を確立する。

ABSTRACT

We consider a fundamental problem in unsupervised learning called \emph{subspace recovery}: given a collection of $m$ points in $\mathbb{R}^n$, if many but not necessarily all of these points are contained in a $d$-dimensional subspace $T$ can we find it? The points contained in $T$ are called {\em inliers} and the remaining points are {\em outliers}. This problem has received considerable attention in computer science and in statistics. Yet efficient algorithms from computer science are not robust to {\em adversarial} outliers, and the estimators from robust statistics are hard to compute in high dimensions. Are there algorithms for subspace recovery that are both robust to outliers and efficient? We give an algorithm that finds $T$ when it contains more than a $\frac{d}{n}$ fraction of the points. Hence, for say $d = n/2$ this estimator is both easy to compute and well-behaved when there are a constant fraction of outliers. We prove that it is Small Set Expansion hard to find $T$ when the fraction of errors is any larger, thus giving evidence that our estimator is an {\em optimal} compromise between efficiency and robustness. As it turns out, this basic problem has a surprising number of connections to other areas including small set expansion, matroid theory and functional analysis that we make use of here.

研究の動機と目的

• 教師なし学習における計算効率とロバスト性の根本的対立を解消すること、特に部分空間回復の文脈で。
• 計算効率と敵対的外れ値に対してロバストなアルゴリズムを設計すること。分解点は、耐えられる汚染データの最大割合として定義される。
• Small Set Expansion 仮説の下で難易度結果を証明することで、このようなアルゴリズムの理論的限界を確立すること。
• マトロイド理論、関数解析、組合せ最適化の概念を統合し、決定的で多項式時間の解を得ること。
• 提案されたアルゴリズムが、計算的難易度の観点からも裏付けられるように、ロバスト性と効率性の最良トレードオフを達成していることを示すこと。

提案手法

• n 点の部分集合を繰り返しランダムに抽出し、線形従属性をチェックすることでインライヤーを特定する、確率的 Las Vegas アルゴリズムを提案する。
• 条件 2.1 を採用：任意の n 点の部分集合が線形従属であることは、それらに d 個を超えるインライヤーが含まれることと同値であり、これによりインライヤーを多く含む部分集合の検出が可能になる。
• 組合せ最適化における基底ポリトープと属するオракルを用いてアルゴリズムを決定的化し、Edmonds の独立集合の特徴付けを活用する。
• アルゴリズム 3 でグリーディーな削減戦略を採用し、候補点の集合を反復的に縮小しながら、インライヤー割合を d/n 以上に維持する。
• 基底ポリトープの強多項式時間の属するオーケストラを用いて、点の部分集合がインライヤー割合 d/n を超えるかどうかをテストする。
• 線形従属な n 点の部分集合のカーネルベクトルにおける非ゼロ成分に対応するベクトルの線形包を計算することで、真の部分空間 T を回復する。

実験結果

リサーチクエスチョン

• RQ1 計算的に効率的かつ敵対的外れ値に対してロバストな部分空間回復アルゴリズムを設計できるか？
• RQ2 部分空間回復のための効率的に計算可能な推定器が耐えられる外れ値の最大割合（すなわち分解点）は何か？
• RQ3 ロバスト部分空間回復が、近似的にでさえも、計算的に解けない領域に達する根本的障壁は存在するか？
• RQ4 マトロイド理論や多面体組合せ論の技術を用いて、ロバスト部分空間回復アルゴリズムを決定的化し最適化できるか？
• RQ5 インライヤー割合の d/n の閾値が、計算的難易度の観点で最適であり、より高いロバスト性を効率的に達成できるか？

主な発見

• 提案された確率的アルゴリズムは、インライヤーが全点の d/n を超える場合に真の部分空間 T を正しく特定でき、期待実行時間は O(n²m) である。
• 決定的化されたバージョンのアルゴリズムは強多項式時間で実行され、同じインライヤー割合の条件下で T を正しく回復する。
• インライヤーが d/n 未満の場合に T を特定することは Small Set Expansion 困難であることが示され、より多くの外れ値を耐えられるような効率的アルゴリズムは存在しないことが示唆される。
• 条件 2.1 により、任意の n 点の部分集合が線形従属であることは、高いインライヤー数を含むことを保証し、インライヤーを多く含む部分集合の信頼性のある検出が可能になる。
• 基底ポリトープの特徴付けにより、効率的な属するテストが可能となり、これは決定的化プロセスにおいて不可欠である。
• SVD や最小中央値二乗法のような古典的手法に比べ、本アルゴリズムはロバスト性と計算効率の両面で優れている。