[論文レビュー] How close is the sample covariance matrix to the actual covariance matrix?

Roman Vershynin|arXiv (Cornell University)|Apr 20, 2010

Random Matrices and Applications参考文献 22被引用数 4

ひとこと要約

本稿は、高次元の確率的ベクトルの真の共分散行列を作用素ノルムで近似するのに必要な標本サイズ N を調査し、四次モーメントが有限である分布に対して、N = O(n) が対数的要因を除いて十分であることを証明している。分布が有限の四次モーメントを持つ場合、標本共分散行列は高確率で (n/N)^{1/2 - 2/q} のレートで真の共分散行列に収束することが示され、特に超ガウス分布や超指数分布に対しては既存の結果を改善している。

ABSTRACT

Given a probability distribution in R^n with general (non-white) covariance, a classical estimator of the covariance matrix is the sample covariance matrix obtained from a sample of N independent points. What is the optimal sample size N = N(n) that guarantees estimation with a fixed accuracy in the operator norm? Suppose the distribution is supported in a centered Euclidean ball of radius \sqrt{n}. We conjecture that the optimal sample size is N = O(n) for all distributions with finite fourth moment, and we prove this up to an iterated logarithmic factor. This problem is motivated by the optimal theorem of Rudelson which states that N = O(n \log n) for distributions with finite second moment, and a recent result of Adamczak, Litvak, Pajor and Tomczak-Jaegermann which guarantees that N = O(n) for sub-exponential distributions.

研究の動機と目的

• 真の共分散行列を作用素ノルムで誤差 ε 以内に近似できる最小の標本サイズ N(n, ε) を特定すること。
• 超指数分布の既知の結果（N=O(n)）と、四次モーメントが有限である一般の分布との間のギャップを埋め、N=O(n) が最適であると予想すること。
• 超ガウス分布や超指数分布にとどまらず、四次モーメントが有限である一般の分布へと分析を拡張すること。
• 切断法とモーメントに基づく技術を用いて、標本共分散行列と真の共分散行列の差の作用素ノルムに対する精密な集中不等式を提供すること。

提案手法

• 標本誤差を確率的ベクトルの小さな係数と大きな係数の寄与に分解するための切断法を用いる。
• 有限な q > 4 に対するモーメント仮定 (2.2) を適用し、尾部の挙動を制御し、大きな係数に関する確率的境界を導出する。
• ランク1射影の和の集中に関する定理 5.1 を用いて、標本共分散行列における大きな係数の寄与を評価する。
• ホルダーの不等式およびマーコフの不等式を用いて、しきい値 B を超える二乗係数の期待値を制御する。
• 誤差分解におけるバイアスとバリアンスのトレードオフを最適化するため、しきい値 B = (N/n)^{2/q} を選ぶ。
• 主項（I₁）、大きな係数の和（I₂）、および期待される大きな係数の寄与（I₃）の各項の境界を組み合わせ、最終的な収束レートを導出する。

実験結果

リサーチクエスチョン

• RQ1 四次モーメントが有限である一般の分布に対して、作用素ノルムで固定誤差 ε 以内に真の共分散行列を近似するのに必要な最適な標本サイズ N(n) は何か？
• RQ2 四次モーメントが有限である分布に対して、予想されている N=O(n) が達成可能か、それともより大きな N が必要か？
• RQ3 標本共分散行列の収束レートは、元の分布のモーメント構造にどのように依存するか？
• RQ4 切断法とモーメントに基づく集中技術を用いることで、超ガウス分布や超指数分布の仮定を越えて、作用素ノルムの境界をどの程度改善できるか？

主な発見

• 四次モーメントが有限な q > 4 の分布に対して、標本共分散行列は高確率で作用素ノルムにおいて (n/N)^{1/2 - 2/q} の速度で真の共分散行列に近づく。
• 必要な標本サイズは、(log log n)^2 要因を除いて N = O(n) であり、一般の二階モーメントを持つ分布に対しては O(n log n) の境界を改善している。
• この境界は、分布が O(√n) の半径をもつユークリッド球に含まれるという仮定のもとで成り立つ。これは高次元集中の文脈で自然な条件である。
• 解析により、作用素ノルム誤差は次元 n、標本サイズ N、および分布のモーメントの順序 q の間の相互作用によって支配されることが示された。
• 切断に基づく手法により、重い尾部を持つ係数の寄与がうまく制御され、超指数分布から一般の有限モーメントを持つ分布への結果の拡張が可能になった。