[論文レビュー] Estimating Rank-One Spikes from Heavy-Tailed Noise via Self-Avoiding Walks

Jingqiu Ding, Samuel B. Hopkins+1 more|arXiv (Cornell University)|Aug 31, 2020

Random Matrices and Applications参考文献 26被引用数 8

ひとこと要約

本稿では、重い尾を持つノイズで汚染された対称行列からランク1のスパイクを回復する多項式時間推定器を、自己回避ウォークに基づいて提案する。従来のPCAはこの状況で失敗するが、本手法は色分け技法を用いてウォークを効率的に数え上げることで、ノイズの高次モーメントが有界でない場合でさえ、BBP閾値まで最適な統計的性能（非自明なスパイクとの相関）を達成する。

ABSTRACT

We study symmetric spiked matrix models with respect to a general class of noise distributions. Given a rank-1 deformation of a random noise matrix, whose entries are independently distributed with zero mean and unit variance, the goal is to estimate the rank-1 part. For the case of Gaussian noise, the top eigenvector of the given matrix is a widely-studied estimator known to achieve optimal statistical guarantees, e.g., in the sense of the celebrated BBP phase transition. However, this estimator can fail completely for heavy-tailed noise. In this work, we exhibit an estimator that works for heavy-tailed noise up to the BBP threshold that is optimal even for Gaussian noise. We give a non-asymptotic analysis of our estimator which relies only on the variance of each entry remaining constant as the size of the matrix grows: higher moments may grow arbitrarily fast or even fail to exist. Previously, it was only known how to achieve these guarantees if higher-order moments of the noises are bounded by a constant independent of the size of the matrix. Our estimator can be evaluated in polynomial time by counting self-avoiding walks via a color -coding technique. Moreover, we extend our estimator to spiked tensor models and establish analogous results.

研究の動機と目的

• ノイズの尾が重く、またはモーメントが無限大となる場合に、標準的PCAがランク1スパイクを回復できない問題に対処すること。
• ノイズ要素の単位分散のみを仮定する最小限の仮定のもとで、最適な統計的性能を維持する効率的アルゴリズムを開発すること。
• 信号対ノイズ比がBBP閾値に近い場合でさえも、真のスパイクベクトルと非自明な相関を達成できること。
• 本手法をテンソルモデルに拡張し、高次スパイクテンソルモデルに対しても類似の回復保証を確立すること。

提案手法

• n頂点の完全グラフにおける自己回避ウォークに基づく次数ℓの多項式推定器を構築し、PCAで用いられる標準的なパワー反復を置き換える。
• 色分け技法を用いて次数ℓの自己回避ウォークを効率的に数え上げることで、推定器の多項式時間評価を可能にする。
• ランダムな色分けに基づく自己回避ウォークを表すハイパーグラフを統合する行列値多項式p(Y, c₁,…,c_C)を定義する。
• O(exp(ℓv))個のランダムな色分けの平均を取ることで、弱いモーメント仮定のもとでスパイク方向のロバストな推定を得る。
• 推定器の構造を活用して、真のスパイクxxᵀとの内積をバウンディングし、λ√n ≥ 1+δのとき非自明な相関を達成する。
• 推定行列の最大固有ベクトルを抽出するためにパワー法を適用し、計算的に効率的な回復アルゴリズムを実現する。

実験結果

リサーチクエスチョン

• RQ1 ノイズのモーメントが無限大となる場合に、PCAが失敗する状況でも、計算的に効率的な推定器がランク1スパイクを回復できるか。
• RQ2 回復の一貫性を保つために必要なノイズ分布の最小統計的仮定（単位分散を超えて）は何か。
• RQ3 自己回避ウォークに基づく推定器は、ガウス分布下でのPCAと同等の統計的閾値（BBP相転移）を、重い尾を持つノイズ下でも達成できるか。
• RQ4 推定器を高次テンソルモデルに拡張する方法は何か。その際、統計的・計算的効率性を維持できるか。

主な発見

• 提案された推定器は、λ√n ≥ 1+δのとき、真のスパイクベクトルxと非自明な相関を達成し、回復の情報理論的閾値と一致する。
• ノイズ要素の5次以上のモーメントが任意に速く増大するか、存在しない場合でさえも、最適な統計的保証を維持する。
• vが定数のとき、色分け技法を用いて自己回避ウォークを効率的に数えることで、O(n^{2pv})の多項式時間で実行可能である。
• λ√n → ∞のとき、推定器と真のスパイクとの相関は1に近づき、ガウスノイズ下でのPCAの性能と一致する。
• 本手法はスパイクテンソルモデルに一般化可能であり、類似の仮定のもとで同様の回復保証が成り立つ。
• 本推定器は、切断に基づく手法とは異なり、敵対的ノイズ分布に対してもロバストである。