[論文レビュー] Bayesian Estimation of Sparse Spiked Covariance Matrices in High Dimensions

Fangzheng Xie, Yanxun Xu+2 more|arXiv (Cornell University)|Aug 22, 2018

Blind Source Separation Techniques参考文献 25被引用数 7

ひとこと要約

本稿は、潜在的要因モデルにおける負荷行列に新しい行列スパイクアンドスラブLASSO事前分布を導入することで、高次元スパーススパイク付き共分散行列のベイズ推定を提案する。共分散行列（作用素ノルム）および主部分空間（射影ノルムおよび2対∞ノルム損失）に対する後刻収縮率が最適であることが確立されており、特に低ランクおよび有界一様性条件の下で、2対∞ノルム損失ではより緊密な収縮率が得られる。

ABSTRACT

We propose a Bayesian methodology for estimating spiked covariance matrices with jointly sparse structure in high dimensions. The spiked covariance matrix is reparametrized in terms of the latent factor model, where the loading matrix is equipped with a novel matrix spike-and-slab LASSO prior, which is a continuous shrinkage prior for modeling jointly sparse matrices. We establish the rate-optimal posterior contraction for the covariance matrix with respect to the operator norm as well as that for the principal subspace with respect to the projection operator norm loss. We also study the posterior contraction rate of the principal subspace with respect to the two-to-infinity norm loss, a novel loss function measuring the distance between subspaces that is able to capture element-wise eigenvector perturbations. We show that the posterior contraction rate with respect to the two-to-infinity norm loss is tighter than that with respect to the routinely used projection operator norm loss under certain low-rank and bounded coherence conditions. In addition, a point estimator for the principal subspace is proposed with the rate-optimal risk bound with respect to the projection operator norm loss. These results are based on a collection of concentration and large deviation inequalities for the matrix spike-and-slab LASSO prior. The numerical performance of the proposed methodology is assessed through synthetic examples and the analysis of a real-world face data example.

研究の動機と目的

• 主部分空間における連合スパarsityを想定した高次元共分散行列推定のためのベイズ的手法の開発。
• スパース固有ベクトルを有する高次元スパイク付き共分散モデルにおける後刻収縮の課題の解決。
• 作用素ノルム、射影作用素ノルム、および新規の2対∞ノルム損失を含む複数の損失関数に対する後刻集中の理論的保証の確立。
• 射影作用素ノルム損失の下で最適な収縮レートを達成する主部分空間の点推定器の提案。
• 行列スパイクアンドスラブLASSO事前分布に対する集中不等式および大偏差不等式を用いた厳密な理論的基盤の構築。

提案手法

• スパイク付き共分散行列を負荷行列Uを有する潜在的要因モデルに再パラメータ化する。
• 負荷行列Uにおける連合スパarsityを誘導するための行列スパイクアンドスラブLASSO事前分布を導入する。
• 連合スパース行列をモデル化する連続的縮小事前分布を用い、効率的な後刻計算と理論的解析を可能にする。
• 行列スパイクアンドスラブLASSO事前分布に特化した集中不等式を用いて後刻収縮レートを確立する。
• 作用素ノルム、射影作用素ノルム、および2対∞ノルムの3つの損失関数における後刻収縮を分析する。
• 後刻平均に基づく点推定器を主部分空間の推定に提案し、射影作用素ノルム損失の下で最適なリスクバウンドを達成する。

実験結果

リサーチクエスチョン

• RQ1 ベイズ的手法は、高次元スパーススパイク付き共分散行列に対して最適な後刻収縮率を達成できるか？
• RQ2 2対∞ノルム損失は、標準的な射影作用素ノルム損失と比較して、部分空間推定誤差の測定にどのように異なるか？
• RQ3 行列スパイクアンドスラブLASSO事前分布は、連合スパarsity下で最適な後刻集中を可能にするか？
• RQ4 異なる損失関数の下で、主部分空間の後刻収縮に対する理論的保証は何か？
• RQ5 後刻から導かれる点推定器は、射影作用素ノルム損失の下でミニマックスリスクレートを達成できるか？

主な発見

• 共分散行列の後刻収縮レートは作用素ノルムに関して最適である。
• 主部分空間の後刻収縮レートは射影作用素ノルム損失の下で最適である。
• 低ランクおよび有界一様性条件の下では、2対∞ノルム損失の下での後刻収縮レートが射影作用素ノルム損失の下よりも緊密である。
• 行列スパイクアンドスラブLASSO事前分布は、新規の集中不等式および大偏差不等式を通じて最適な後刻集中を可能にする。
• 後刻平均に基づく点推定器は、射影作用素ノルム損失の下でミニマックスリスクバウンドを達成する。
• 数値実験により、合成データおよび実際の顔画像データにおいて本手法の有効性が確認され、ロバストネスと解釈可能性が示された。