[論文レビュー] Robust Subspace Recovery with Adversarial Outliers

Tyler Maunu, Gilad Lerman|arXiv (Cornell University)|Apr 5, 2019

Sparse and Compressive Sensing Techniques参考文献 47被引用数 9

ひとこと要約

本稿は、敵対的外れ値が存在する状況下での頑健な部分空間回復に対して、実行可能である2つのアルゴリズム—RANSACベースとSGGD—を提案し、ノイズなし設定において最先端の理論的保証を達成した。正確な回復が、信号対雑音比（SNR）が $ O(d) $ に有界である場合に可能であることが示され、過去の研究が大きな定数を伴って $ O(d) $ を必要としていたのと比べ、顕著に改善された。

ABSTRACT

We study the problem of robust subspace recovery (RSR) in the presence of adversarial outliers. That is, we seek a subspace that contains a large portion of a dataset when some fraction of the data points are arbitrarily corrupted. We first examine a theoretical estimator that is intractable to calculate and use it to derive information-theoretic bounds of exact recovery. We then propose two tractable estimators: a variant of RANSAC and a simple relaxation of the theoretical estimator. The two estimators are fast to compute and achieve state-of-the-art theoretical performance in a noiseless RSR setting with adversarial outliers. The former estimator achieves better theoretical guarantees in the noiseless case, while the latter estimator is robust to small noise, and its guarantees significantly improve with non-adversarial models of outliers. We give a complete comparison of guarantees for the adversarial RSR problem, as well as a short discussion on the estimation of affine subspaces.

研究の動機と目的

• 敵対的外れ値が存在する頑健な部分空間回復（RSR）における破綻点の包括的理論的分析を提供すること。
• 情報理論的限界と実用的アルゴリズムのギャップを埋めるために、正確な回復のためのタイトなSNRバウンズを導出すること。
• ノイズなしRSR設定において、近似的に最適な理論的パフォーマンスを達成する高速で実行可能なアルゴリズムを開発すること。
• 対称化と頑健なオフセット推定を用いて、線形部分空間手法をアフィン部分空間回復に拡張する理論的保証を提供すること。
• 理論的保証を持つ既存のRSRアルゴリズムを比較し、敵対的条件下で最も優れたパフォーマンスを示す手法を同定すること。

提案手法

• 敵対的外れ値が存在する状況下での正確な回復のための情報理論的下界を導出するための非実行可能な理論的推定器を導入する。
• RANSACの変種を提案し、$ c(d) = \Omega(1/\mathrm{poly}\log(d)) $ を満たすことで、ノイズなし状況下で $ O(d) $ のSNRバウンズを達成し、強い理論的保証を提供する。
• 理論的推定器の単純な緩和形—SGGD（半正定値ガウスノイズ除去）—を考案し、計算効率が良く、微小なノイズに対しても頑健である。
• データの対称化を適用してアフィン部分空間回復を可能にする：$ \mathcal{X}' = \{ \mathbf{x}_i - \mathbf{x}_j \} $。これにより、SGGDが部分空間の線形成分を推定できる。
• 線形部分空間回復後に、射影された点の幾何的中央値を用いて、アフィン部分空間のオフセットを頑健に推定する。
• 対称化された状況におけるSNRバウンズを確立し、有効なSNRが $ \alpha^2/(1 - \alpha^2) $ に比例することを示す。ここで $ \alpha $ はインライヤーの割合を表す。

実験結果

リサーチクエスチョン

• RQ1 敵対的外れ値が存在する頑健な部分空間回復において、正確な回復に必要な情報理論的下界としての信号対雑音比（SNR）は何か？
• RQ2 実行可能なアルゴリズムは、ノイズなしRSR設定において、情報理論的限界に近いSNRバウンズを達成できるか？
• RQ3 ノイズなし状況下で、RANSACとSGGDの理論的保証は、SNRの閾値およびノイズへの頑健性の観点からどのように比較できるか？
• RQ4 敵対的外れ値が存在する状況下で、アフィン部分空間回復は理論的保証とともに達成可能か？また、線形部分空間手法を拡張するために必要な変更は何か？
• RQ5 データの対称化は、アフィンRSRにおけるSNRと計算複雑度にどのような影響を与えるか？

主な発見

• 敵対的外れ値が存在するノイズなしRSR設定において、正確な回復のための情報理論的下界は $ O(1) $ である。これは、インライヤーが適切に並べ替えられている場合、定数レベルのSNRで正確な回復が可能であることを示している。
• 提案されたRANSACの変種は、$ \Omega(d / \mathrm{poly}\log(d)) $ のSNRバウンズを達成し、過去の研究が大きな定数を伴って $ O(d) $ を必要としていたのと比べ、顕著に改善された。
• SGGDアルゴリズムは、$ O(d) $ のSNRバウンズを達成するが、従来の手法（例：[46]における $ 121\mu d/9 $ および [5]における $ 128\mu^2 d - 1 $）と比較してはるかに良い定数を有する。
• SGGDは微小なノイズに対しても頑健であり、非敵対的外れ値モデル下では理論的保証が著しく向上する。
• アフィン部分空間回復において、対称化により有効なインライヤーの割合が $ \alpha $ 倍に低下し、対称化されたデータにおけるSNRは $ \alpha^2/(1 - \alpha^2) $ に比例する。
• ノイズなし状況下では、SGGD後に射影された点の幾何的中央値が、SNRが対称化されたデータのSNRを $ 3\sqrt{3}d \cdot \kappa_d(\widetilde{\mathbf{X}_{\mathrm{in}}^\prime}}) $ を超える限り、真のオフセットを最小ノルムで回復する。