[論文レビュー] Masked Toeplitz covariance estimation

Maryia Kabanava, Holger Rauhut|arXiv (Cornell University)|Sep 27, 2017

Random Matrices and Applications参考文献 22被引用数 5

ひとこと要約

本稿では、真の共分散行列がスパースかつトーペリッツ行列としての構造を持つ高次元データに対して、スペクトル密度関数を用いたスペクトルノルムの上限を活用して、マスク付きトーペリッツ共分散推定量を提案する。ガウス分布および凸濃縮性の仮定の下で、先行研究を著しく一般化する形で、より良い推定誤差の上限を確立する。

ABSTRACT

The problem of estimating the covariance matrix $Σ$ of a $p$-variate distribution based on its $n$ observations arises in many data analysis contexts. While for $n>p$, the classical sample covariance matrix $\hatΣ_n$ is a good estimator for $Σ$, it fails in the high-dimensional setting when $n\ll p$. In this scenario one requires prior knowledge about the structure of the covariance matrix in order to construct reasonable estimators. Under the common assumption that $Σ$ is sparse, a refined estimator is given by $M\cdot\hatΣ_n$, where $M$ is a suitable symmetric mask matrix indicating the nonzero entries of $Σ$ and $\cdot$ denotes the entrywise product of matrices. In the present work we assume that $Σ$ has Toeplitz structure corresponding to stationary signals. This suggests to average the sample covariance $\hatΣ_n$ over the diagonals in order to obtain an estimator $ ildeΣ_n$ of Toeplitz structure. Assuming in addition that $Σ$ is sparse suggests to study estimators of the form $M\cdot ildeΣ_n$. For Gaussian random vectors and, more generally, random vectors satisfying the convex concentration property, our main result bounds the estimation error in terms of $n$ and $p$ and shows that accurate estimation is indeed possible when $n \ll p$. The new bound significantly generalizes previous results by Cai, Ren and Zhou and provides an alternative proof. Our analysis exploits the connection between the spectral norm of a Toeplitz matrix and the supremum norm of the corresponding spectral density function.

研究の動機と目的

• 標本サイズ n が次元 p よりもはるかに小さい高次元設定における共分散推定の課題に対処すること。
• 定常性に起因するトーペリッツ構造という構造的仮定を、スパarsityと併せて組み合わせることで推定精度を向上させること。
• トーペリッツ行列のスペクトル特性を活用することで、既存のマスク付き共分散推定結果を一般化すること。
• ガウス分布および凸濃縮性の仮定の下で、マスク付きトーペリッツ推定量の非漸近的誤差上限を導出すること。

提案手法

• 2段階推定量を提案：まず、標本共分散行列を対角線ごとに平均化してトーペリッツ構造を強制し、$\tilde{\Sigma}_n$ を得る。次に、対称的なマスク行列 $M$ を適用してスパarsityを強制し、$M \cdot \tilde{\Sigma}_n$ を得る。
• 推定誤差をバイアスとバリアンスの項に分解し、バリアンス項をサブガウスおよびサブガンマ濃縮不等式を用いて上限付ける。
• トーペリッツ行列のスペクトルノルムとそのスペクトル密度関数のesssupノルムとの間の重要な関係を確立する。
• 被覆議論およびモーメント不等式を用いて、マスク付き標本共分散行列のスペクトルノルムを制御する。
• ガウス濃縮およびデカップリング技術を適用し、$M \cdot \tilde{\Sigma}_n$ と $M \cdot \Sigma$ の乖離に関する高確率上限を導出する。
• 周波数領域におけるマスクのスパarsityおよび構造を定量化する $\|\omega\|_{2,*}$ および $\|\omega\|_{1,*}$ の観点から上限を導出する。

実験結果

リサーチクエスチョン

• RQ1 真の共分散行列がスパースかつトーペリッツ構造を持つ場合、高次元設定（$n \ll p$）においても精度の高い共分散推定が可能か？
• RQ2 サブガウスまたは凸濃縮性の仮定の下で、マスク付きトーペリッツ共分散推定量のスペクトルノルムはどのように振る舞うか？
• RQ3 スペクトル密度関数は、構造的共分散行列の推定誤差を制御するために果たす役割は何か？
• RQ4 トーペリッツ構造を組み込むことで、マスク付き共分散推定の誤差上限を著しく改善できるか？
• RQ5 対数的および標本サイズ依存性の観点から、提案手法は先行研究と比較してどのように異なるか？

主な発見

• 本稿では、確率 $1 - 8pe^{-t}$ 以上で、スペクトルノルム誤差 $\|M \cdot \tilde{\Sigma}_n - M \cdot \Sigma\| \leq C_2 K^2 \left( \|\omega\|_{2,*} \sqrt{\frac{t}{n}} + \frac{\|\omega\|_{1,*} t}{n} \right)$ の高確率上限を確立。ここで $\|\omega\|_{2,*}$ および $\|\omega\|_{1,*}$ は、マスクの周波数領域におけるスパarsityおよび構造を定量化する。
• ガウスベクトルの場合、期待誤差は $\mathbb{E}\|M \cdot \tilde{\Sigma}_n - M \cdot \Sigma\| \leq C_3 K^2 \left( \|\omega\|_{2,*} \sqrt{\frac{\log p}{n}} + \|\omega\|_{1,*} \frac{\log p}{n} \right)$ で上限付く。これは、先行研究と比較して $n$ および $p$ に対する依存性が改善されている。
• トーペリッツ行列のスペクトル密度表現とそのスペクトルノルムへの関連を活用することで、従来の手法よりもタイトな誤差上限を達成する。
• 凸濃縮性を満たす分布の広いクラスを許容することで、Cai, Ren, and Zhou の先行結果を一般化する。
• バンドリングおよびターピングマスクの境界では、マスクの1列あたりの非ゼロ要素が最大 $m$ 個の場合、誤差が $\sqrt{m/n} + m/n$ のスケールで増加することが示され、既知のレートと一致するが、定数および一般性が向上している。
• スペクトル密度技術を用いた代替的証明により、トーペリッツおよびスパarsity制約下での共分散推定の構造に関する新たな洞察を提供する。