[論文レビュー] Outlier-Robust High-Dimensional Sparse Estimation via Iterative Filtering

Ilias Diakonikolas, Sushrut Karmalkar+3 more|arXiv (Cornell University)|Nov 19, 2019

Sparse and Compressive Sensing Techniques被引用数 5

ひとこと要約

本稿では、スペクトル的手法を用いて外れ値を効率的に除去することで、敵対的ノイズによる汚染が生じる高次元スパース推定に対して、反復的フィルタリングアルゴリズムを提示する。提案手法は、スパarsity $k$ に依存するが次元 $d$ に対して対数的であるサンプル複雑性を有し、近似的に最適な誤差保証を達成する。既存の楕円体ベースの手法に比べて実用的性能が優れており、理論的境界にも一致する。

ABSTRACT

We study high-dimensional sparse estimation tasks in a robust setting where a constant fraction of the dataset is adversarially corrupted. Specifically, we focus on the fundamental problems of robust sparse mean estimation and robust sparse PCA. We give the first practically viable robust estimators for these problems. In more detail, our algorithms are sample and computationally efficient and achieve near-optimal robustness guarantees. In contrast to prior provable algorithms which relied on the ellipsoid method, our algorithms use spectral techniques to iteratively remove outliers from the dataset. Our experimental evaluation on synthetic data shows that our algorithms are scalable and significantly outperform a range of previous approaches, nearly matching the best error rate without corruptions.

研究の動機と目的

• 一定割合のデータが敵対的に汚染されている状況下での高次元スパース推定の課題に対処すること。
• スパース平均推定およびスパースPCAのための、計算的に効率的かつサンプル的に効率的なロバスト推定器を開発すること。
• 従来の凸計画法に基づくアルゴリズムで実用的でない長時間の実行時間を克服すること。
• 最先端の手法と同等の誤差保証を達成しつつ、外れ値除去に凸計画法に依存しないスペクトル操作のみを用いること。

提案手法

• スペクトル解析に基づく反復的フィルタリングを用いて、データセットから汚染された点を特定・除去する。
• ランダムな方向における偏差に基づき、線形フィルタを適用して外れ値を検出・除去する。
• 外れ値の分布が対称的であるために線形フィルタが失敗する状況に対処するため、二次フィルタを導入する。
• フィルタリングとスパース化を組み合わせることで、低次元の出力を維持し、精度を向上させる。
• スパース信号の構造を活用して、凸計画法に依存せずに敵対的汚染に対してロバストなフィルタを設計する。
• 各反復で単純な固有値計算を用いて、共分散に類似した行列の最大固有値を近似することで、スケーラビリティを実現する。

実験結果

リサーチクエスチョン

• RQ1 敵対的汚染下でも計算的に効率的かつ近似的に最適な誤差を達成できるロバストなスパース平均推定器を設計できるか？
• RQ2 スペクトル的フィルタリングをスパース設定に適応させることで、楕円体アルゴリズムに依存しなくてもよいか？
• RQ3 一定割合の汚染データがある状況下でのロバストなスパースPCAに必要なサンプル複雑性は何か？
• RQ4 線形および二次フィルタを用いた反復的フィルタリングは、実用的性能が優れており、理論的保証も維持できるか？
• RQ5 提案手法は、ナイーブなロバスト推定器で見られる $\sqrt{k}$ の誤差依存をどの程度回避できるか？

主な発見

• 提案された RME_sp アルゴリズムは、誤差 $\widetilde{O}(\varepsilon)$ を達成し、サンプル複雑性が $\widetilde{O}(k^2)$ であり、先行研究の理論的境界と一致する。
• ロバストなスパースPCAにおいて、$k < \sqrt{d}$ の場合に、密度のある手法よりも低いサンプル複雑性を達成し、性能の分散も小さい。
• 実験では、RME_sp は RANSAC や NP、簡略化された線形フィルタリングバージョンを上回り、$\varepsilon\sqrt{k}$ の誤差依存を回避する。
• 実行時間は、$k=10, d=300, m=50$ の条件下で定常バイアスノイズ下で 0.015 秒であり、SDPベースの代替手法（10秒以上/反復）に比べて著しく高速である。
• 実験的結果から、$\widetilde{O}(k)$ のサンプル数で十分である可能性が示唆され、理論的境界の $\widetilde{O}(k^2)$ よりも高いサンプル効率性と整合的である。
• 線形フィルタが失敗するケース（例：線形隠蔽ノイズモデル）において、二次フィルタが外れ値を効果的に除去できた。