[論文レビュー] Robust Sparse Estimation Tasks in High Dimensions

Jerry Li|arXiv (Cornell University)|Feb 20, 2017

Sparse and Compressive Sensing Techniques参考文献 23被引用数 17

ひとこと要約

本稿では、敵対的ノイズによる汚染下でも、次元 $d$ に対して非線形の標本複雑度を達成し、情報理論的最適値から $\sqrt{\log 1/\varepsilon}$ 要因以内の誤差境界を達成する、高次元における最初の効率的アルゴリズムを提示する。この研究は、ノイズが存在する状況における新たな計算的・統計的ギャップを明らかにし、腐食のないスパースPCAで観察されたものと類似している。

ABSTRACT

In this paper we initiate the study of whether or not sparse estimation tasks can be performed efficiently in high dimensions, in the robust setting where an $\eps$-fraction of samples are corrupted adversarially. We study the natural robust version of two classical sparse estimation problems, namely, sparse mean estimation and sparse PCA in the spiked covariance model. For both of these problems, we provide the first efficient algorithms that provide non-trivial error guarantees in the presence of noise, using only a number of samples which is similar to the number required for these problems without noise. In particular, our sample complexities are sublinear in the ambient dimension $d$. Our work also suggests evidence for new computational-vs-statistical gaps for these problems (similar to those for sparse PCA without noise) which only arise in the presence of noise.

研究の動機と目的

• スパース推定による統計的利点が、敵対的汚染下でも高次元で維持されるかどうかを調査すること。
• 汚染された標本によるモデル不適合に起因する古典的スパース推定アルゴリズムの脆さに対処すること。
• 次元 $d$ に対して非線形の標本複雑度を維持するロバストスパース平均推定とロバストスパースPCAのための効率的アルゴリズムを開発すること。
• ノイズが存在する状況に特有に現れる新たな計算的・統計的ギャップを探索すること。
• ロバストスパース平均推定のための標本複雑度の理論的限界を確立し、$k^2$ 対 $k$ のギャップを示唆すること。

提案手法

• 外れ値検出にスパース分散検出を用いた切り捨て経験平均を用いる、ロバストスパース平均推定のための効率的アルゴリズムを提案する。
• スペクトル法と行列摂動論を用いて汚染された標本を処理する、スパiked共分散モデルに基づくロバストPCAフレームワークを適用する。
• 真の射影行列と推定された射影行列の差をバインドするために、ブロック行列分解と行列ノルム解析を用いる。
• 射影行列のスペクトルノルムとフロベニウスノルムの関係を示すために、ランク2行列近似の議論を用いる。
• 汚染が存在する状況における対数尤度のヘッセ行列の新しい解析を導入し、分散が増大したスパース方向の検出と関連付ける。
• ヘッセ行列の半正定性と行列ブロックのバインドに基づく背理法を用いた証明戦略を採用し、誤差保証を導出する。

実験結果

リサーチクエスチョン

• RQ1 標本の一部 $\varepsilon$ が敵対的に汚染された場合に、スパース平均推定のための効率的アルゴリズムがその性能保証を維持できるか。
• RQ2 スパースPCAで観察された計算的・統計的ギャップが、ロバストスパース平均推定においても現れるか。
• RQ3 ロバストスパース平均推定において、$\widetilde{O}(k^2 \log d / \varepsilon^2)$ の標本複雑度は必要不可欠か、それより改善可能か。
• RQ4 高次元において敵対的汚染下で、ロバストスパースPCAを非線形の標本複雑度で効率的に解けるか。
• RQ5 モデル不適合下でのロバストスパース推定において、計算効率と統計的精度の根本的トレードオフは何か。

主な発見

• 提案されたロバストスパース平均推定のためのアルゴリズムは、$\ell_2$ 誤差境界 $O(\varepsilon \sqrt{\log 1/\varepsilon})$ を達成しており、任意の効率的SQアルゴリズムに対して $\sqrt{1/\varepsilon}$ 要因以内にタイトである。
• $k^2$ 対 $k$ のギャップが存在すると仮定すると、$\widetilde{O}(k^2 \log d / \varepsilon^2)$ の標本複雑度は、効率的アルゴリズムにとって必要不可欠であることが示された。
• 誤差境界は情報理論的最小値から $\sqrt\log 1/\varepsilon}$ 要因だけずれており、ロバストスパース推定における根本的トレードオフを示唆している。
• ノイズが存在する状況に新たな計算的・統計的ギャップが出現し、腐食のないスパースPCAで観察されたものと類似している。このギャップはノイズなしの状況には存在しない。
• 真の射影行列と推定された射影行列の差のフロベニウスノルムが $O(\gamma)$ でバインドされることを証明し、スパース部分空間の安定回復を示唆している。
• ロバストスパース平均推定における外れ値検出は、スパースPCAと同等の計算的困難性を有する問題を解く必要があることが示された。これは、分散が大きいスパース方向を検出する必要があるからである。