[論文レビュー] Fast Mean Estimation with Sub-Gaussian Rates

Yeshwanth Cherapanamjeri, Nicolas Flammarion+1 more|arXiv (Cornell University)|Feb 6, 2019

Machine Learning and Algorithms参考文献 20被引用数 25

ひとこと要約

本稿では、有限の平均と分散の仮定のもとで、$\dd$ 内の確率的ベクトルの平均を計算的に効率的な推定量で推定する手法を提案する。この手法は、中間値の平均のトーナメントの凸緩和に勾配降下法を適用することで、最適な統計的性能を達成し、$O(n^4 + n^2d)$ の実行時間で、従来の四乗和に基づくアプローチよりも著しく高速でありながら、より単純な解析を維持する。

ABSTRACT

We propose an estimator for the mean of a random vector in $\mathbb{R}^d$ that can be computed in time $O(n^4+n^2d)$ for $n$ i.i.d.~samples and that has error bounds matching the sub-Gaussian case. The only assumptions we make about the data distribution are that it has finite mean and covariance; in particular, we make no assumptions about higher-order moments. Like the polynomial time estimator introduced by Hopkins, 2018, which is based on the sum-of-squares hierarchy, our estimator achieves optimal statistical efficiency in this challenging setting, but it has a significantly faster runtime and a simpler analysis.

研究の動機と目的

• 高次元の確率的ベクトルの平均を、最小限のモーメント仮定（有限の平均と分散）のもとで計算的に効率的な推定量で推定すること。
• 高次モーメントの仮定を必要とせず、中心極限定理のレートに一致するサブガウス型の信頼区間を達成すること。
• 従来の最適推定量、特に四乗和に基づく中間値の平均のトーナメントのような、$O(n^{24})$ の計算量を有するものよりも実行時間を短縮すること。
• 特に半定値計画法に基づくものと比較して、より単純な理論的解析を提供すること。

提案手法

• 推定量は、中間値の平均のトーナメントフレームワークの凸緩和に基づくもので、解が容易に扱える構造を持つ半定値計画問題（SDP）として定式化される。
• このSDPの双対問題に対して勾配降下法を適用し、反復的に平均推定量を改善することで、完全なSDPソルバーを必要としない。
• 現在の推定量が非効率な方向を同定し、集中不等式を活用することで、進捗を保証するステップをとる。
• バッチ平均のノルムと内積に関する制約によって定義される妥当解集合を維持することで、安定性と収束性を確保する。
• SDPの制約を通じたソフトトリンケーション機構を組み込むことで、外れ値への感受性を低減する。
• 最終的な推定量はデータを1回スキャンするだけで計算可能で、実行時間は$O(n^4 + n^2d)$ に支配され、従来の$O(n^{24})$ の手法に比べ顕著に高速である。

実験結果

リサーチクエスチョン

• RQ1 有限の平均と分散の仮定のもとで、高次元における平均推定に対してサブガウス型の信頼区間を達成することは可能か？
• RQ2 高価な半定値計画法に依存せずに、中間値の平均のトーナメントの統計的効率性を再現する多項式時間の推定量を設計することは可能か？
• RQ3 勾配降下法のようなより単純で効率的な最適化手法を用いて、平均推定問題を解くことは可能か、かつ最適な誤差率を維持できるか？
• RQ4 重尾分布下で最適な統計的性能を達成するために必要な最小実行時間は何か？
• RQ5 推定量が外れ値に対してロバストでありながら、計算的に扱いやすい状態を維持するにはどうすればよいか？

主な発見

• 提案手法の推定量は、有限の平均と分散の仮定のもとで、最適なサブガウス型の信頼区間レート $O\left(\sqrt{\frac{d}{n}} + \sqrt{\frac{\log(1/\delta)}{n}}\right)$ を達成する。
• 推定量の実行時間は $O(n^4 + n^2d)$ であり、四乗和に基づく中間値の平均のトーナメントの $O(n^{24})$ に比べて顕著な改善である。
• アルゴリズムは、中間値の平均のトーナメントの凸緩和に勾配降下法を適用することで、効率的な計算を可能にする。
• 従来の四乗和に基づくアプローチと比較して、はるかに単純な解析で最適な統計的性能を達成する。
• 集中不等式とSDP緩和の妥当解集合の新しい解析を通じて、理論的保証が確立され、解が所望の信頼球内に収束することが示された。
• 推定量は重尾分布に対してもロバストであり、四次モーメントなどの高次モーメントの仮定を必要としない。