[論文レビュー] A Fast Spectral Algorithm for Mean Estimation with Sub-Gaussian Rates

Zhixian Lei, Kyle Luh+2 more|arXiv (Cornell University)|Aug 13, 2019

Markov Chains and Monte Carlo Methods参考文献 22被引用数 6

ひとこと要約

この論文は、高次元の重たい尾を持つ分布における平均推定のための高速なスペクトルアルゴリズムを提示する。このアルゴリズムは、ランタイム Õ(n²d) で最適なサブガウスィアン誤差率を達成し、従来のSDPベースの手法に比べ顕著な改善を示す。この手法は、データ行列の上位特異ベクトルの計算を繰り返し行うことで推定値を改善するが、『最も遠い超平面問題』と重たい分布の構造的性質に関する新しい関係を活用し、幾何的収束を保証する。

ABSTRACT

We study the algorithmic problem of estimating the mean of heavy-tailed random vector in $\mathbb{R}^d$, given $n$ i.i.d. samples. The goal is to design an efficient estimator that attains the optimal sub-gaussian error bound, only assuming that the random vector has bounded mean and covariance. Polynomial-time solutions to this problem are known but have high runtime due to their use of semi-definite programming (SDP). Conceptually, it remains open whether convex relaxation is truly necessary for this problem. In this work, we show that it is possible to go beyond SDP and achieve better computational efficiency. In particular, we provide a spectral algorithm that achieves the optimal statistical performance and runs in time $\widetilde O\left(n^2 d ight)$, improving upon the previous fastest runtime $\widetilde O\left(n^{3.5}+ n^2d ight)$ by Cherapanamjeri el al. (COLT '19). Our algorithm is spectral in that it only requires (approximate) eigenvector computations, which can be implemented very efficiently by, for example, power iteration or the Lanczos method. At the core of our algorithm is a novel connection between the furthest hyperplane problem introduced by Karnin et al. (COLT '12) and a structural lemma on heavy-tailed distributions by Lugosi and Mendelson (Ann. Stat. '19). This allows us to iteratively reduce the estimation error at a geometric rate using only the information derived from the top singular vector of the data matrix, leading to a significantly faster running time.

研究の動機と目的

• 有限の平均と分散という最小限の仮定の下で、高次元平均推定における統計的最適性と計算効率のギャップを埋める。
• サブガウスィアン誤差率を達成するが、半定値計画法（SDP）に依存しない計算効率の良い代替手法を開発する。
• 凸緩和が平均推定における最適な統計的性能を達成するために必ずしも必要ではないことを示す。
• 従来の最先端手法よりも高速なランタイムを達成しながら、最適なサブガウスィアン誤差境界を維持する。

提案手法

• データ行列の上位特異ベクトルの計算のみを用いて、繰り返し平均推定値を改善するスペクトルアルゴリズムを提案する。
• Karninら（2012）の『最も遠い超平面問題』と、LugosiとMendelson（2019）の重たい分布に関する構造的補題の間の新しい関係を活用し、反復的改善プロセスを導く。
• パワー法またはランチョス法を用いて上位特異ベクトルの近似を効率的に計算し、高速な反復ステップを実現する。
• 勾配と距離推定をApproxBregmanアルゴリズムで行う降下手順を適用し、真の平均への収束を保証する。
• 反復の各段階で真の平均方向の十分なマージンを維持するため、プルーニングとラウンド処理（Roundアルゴリズム）を採用する。
• 初期推定値と降下段階の間の統計的独立性を保つために、標本集合を互いに素な部分集合に分割して異なる段階に割り当てる。

実験結果

リサーチクエスチョン

• RQ1 半定値計画法に依存せずに、重たい尾を持つ分布における平均推定でサブガウスィアン誤差率を達成できるスペクトル手法は存在するか？
• RQ2 上位特異ベクトルの計算のみを用いて、平均推定で幾何的収束を達成することは可能か？
• RQ3 有限の2次のモーメントの下で、高次元平均推定における最適な統計的性能を達成するために必要な最小の計算コストは何か？
• RQ4 『最も遠い超平面問題』と重たい分布の構造との間の関係を活用して、より高速な推定器を設計できるか？
• RQ5 この問題に対して真に線形時間のアルゴリズムは存在するのか、それとも現在のスペクトル技術では Õ(n²d) が実用的な限界か？

主な発見

• 提案されたスペクトルアルゴリズムは、Lugosi-Mendelson推定器と同等の最適なサブガウスィアン誤差率を達成する。
• アルゴリズムのランタイムは Õ(n²d) であり、Cherapanamjeriら（2019）の以前の最良ランタイム Õ(n³·⁵ + n²d) よりも改善されている。
• この手法は、データ行列の上位特異ベクトルのみを用いて反復的に推定値を改善することで、推定誤差の幾何的収束を保証する。
• 初期推定値、降下手順、プルーニングステップからの高確率保証を組み合わせることで、失敗確率が最大δ以下に保たれる。
• ランタイムは k ≈ log(1/δ) のとき Õ(k²d) の操作で支配され、高価なSDPを避けるために効率的な固有値ソルバーに依存する。
• この手法は、凸緩和が最適な統計的レートを達成するために必須ではないことを示しており、効率的なロバスト推定の新たな道筋を示唆する。