[論文レビュー] Optimal Estimation and Rank Detection for Sparse Spiked Covariance Matrices

Tommaso Cai, Zongming Ma+1 more|arXiv (Cornell University)|May 14, 2013

Random Matrices and Applications参考文献 45被引用数 7

ひとこと要約

この論文は、高次元設定におけるスパーススプライド共分散行列およびその主部分空間を推定する際のミニマックス最適レートを確立する。スペクトルノルムに特化した新しい技術を導入し、グループスパース制約下で共分散行列推定、主部分空間回復、ランク検出の両方において最適収束レートを達成する。

ABSTRACT

This paper considers sparse spiked covariance matrix models in the high-dimensional setting and studies the minimax estimation of the covariance matrix and the principal subspace as well as the minimax rank detection. The optimal rate of convergence for estimating the spiked covariance matrix under the spectral norm is established, which requires significantly different techniques from those for estimating other structured covariance matrices such as bandable or sparse covariance matrices. We also establish the minimax rate under the spectral norm for estimating the principal subspace, the primary object of interest in principal component analysis. In addition, the optimal rate for the rank detection boundary is obtained. This result also resolves the gap in a recent paper by Berthet and Rigollet [1] where the special case of rank one is considered.

研究の動機と目的

• スペクトルノルム下でのスパーススプライド共分散行列推定のミニマックス最適収束レートを確立すること。
• 主成分分析における中心的対象たる主部分空間推定のミニマックスレートを導出すること。
• スパーススプライド共分散モデルにおけるランク検出の最適レートを特定すること。
• 特にランク1ケースにおいて、先行研究におけるランク検出の上界と下界のギャップを解消すること。
• 主固有ベクトルの連合スパース性を考慮した、推定と検出の統一的枠組みを構築すること。

提案手法

• r個の主要固有ベクトルが連合kスパースであるスパーススプライド共分散行列をモデル化するためのパrameter space Θ₀(k,p,r,λ,τ) を使用する。
• Tusnádyのカップリング補題の非漸近的版を用いて、ハイページオメトリック型のランダムウォークのモーメント生成関数を評価する。
• kが大きい、小さい、中程度の3つのレジームにおいて、尾部挙動を制御するための切断および正規近似技術を適用する。
• 超幾何分布が二項分布より確率的優位であることを用いて、指数モーメントの上限を導出する。
• mが小さい場合は正規近似、mが大きい場合は切断を組み合わせて、推定誤差のスペクトルノルムを制御する。
• Fano型の不等式とHellinger距離に基づく分布間の検定的議論を用いて、ミニマックス下界を確立する。

実験結果

リサーチクエスチョン

• RQ1 スペクトルノルム下でのスパーススプライド共分散行列推定のミニマックス収束レートは何か？
• RQ2 高次元スパーススプライドモデルにおける主部分空間推定の最適レートは何か？
• RQ3 スプライド共分散行列のランクrを検出するミニマックスレートは何か？
• RQ4 主固有ベクトルの連合スパース性は、推定および検出レートにどのように影響するか？
• RQ5 BerthetとRigolletらの先行研究におけるランク検出の上界と下界のギャップ（例：ランク1ケース）を埋めることは可能か？

主な発見

• スペクトルノルム下でのスパーススプライド共分散行列推定のミニマックスレートは、kが連合スパースレベルであるとき、√(k log p)/n のオーダーである。
• スペクトルノルム下での主部分空間推定のミニマックスレートは √(k log p)/n であり、共分散行列推定のレートと一致する。
• ランク検出の最適レートは √(k log p)/n であり、BerthetとRigolletらが以前に開いていたランク1ケースのギャップを解消する。
• 提案された推定手法はミニマックス最適レートを達成し、スペクトルノルム誤差が √(k log p)/n の定数倍で有界である。
• 解析から、固有ベクトルの連合スパース性が推定および検出の難易度を決定づける主要因であることが明らかになった。
• 3レジーム分析により、推定誤差のモーメント生成関数が一様に有界であり、スペクトルノルム下できびしい集中性が保証される。