[論文レビュー] Inference for Sparse Conditional Precision Matrices

Jialei Wang, Mladen Kolar|arXiv (Cornell University)|Dec 24, 2014

Statistical Methods and Inference参考文献 63被引用数 10

ひとこと要約

本稿では、低次元のインデックス変数 Z に応じて逆分散共分散行列が滑らかに変化する高次元設定において、スパースな条件付き精度行列を推定する新しい手法を提案する。局所定数スムージングとグループLasso正則化を組み合わせることで、条件付き独立構造の一貫性のある推定と有効な点별信頼区間の構築が可能となり、最小限の分布仮定のもとでスパース性の一貫性と漸近正規性に関する理論的保証が得られる。

ABSTRACT

Given $n$ i.i.d. observations of a random vector $(X,Z)$, where $X$ is a high-dimensional vector and $Z$ is a low-dimensional index variable, we study the problem of estimating the conditional inverse covariance matrix $Ω(z) = (E[(X-E[X \mid Z])(X-E[X \mid Z])^T \mid Z=z])^{-1}$ under the assumption that the set of non-zero elements is small and does not depend on the index variable. We develop a novel procedure that combines the ideas of the local constant smoothing and the group Lasso for estimating the conditional inverse covariance matrix. A proximal iterative smoothing algorithm is used to solve the corresponding convex optimization problems. We prove that our procedure recovers the conditional independence assumptions of the distribution $X \mid Z$ with high probability. This result is established by developing a uniform deviation bound for the high-dimensional conditional covariance matrix from its population counterpart, which may be of independent interest. Furthermore, we develop point-wise confidence intervals for individual elements of the conditional inverse covariance matrix. We perform extensive simulation studies, in which we demonstrate that our proposed procedure outperforms sensible competitors. We illustrate our proposal on a S&P 500 stock price data set.

研究の動機と目的

• X が高次元で Z が低次元のインデックス変数であるとき、条件付き逆分散共分散行列 Ω(z) = E[(X−E[X|Z])(X−E[X|Z])^T | Z=z]^{-1} を推定すること。
• スパarsity仮定のもとで、X|Z の条件付き独立構造を高い確率で回復する手順を開発すること。
• 条件付き精度行列 Ω(z) の個々の要素に対する点別信頼区間を構築すること。
• p ≫ n の高次元的状況において、推定量の理論的一貫性と漸近正規性を確立すること。
• 高次元的条件付き共分散行列がその母集団対応物からどれだけ離れるかを示す一様な偏差バウンドを提供すること。これは独立に興味深い理論的結果である。

提案手法

• (X,Z) の分布に対して強いパラメトリックな仮定を置かないように、条件付き精度行列 Ω(z) を推定するためのペナルティ付き局所ガウス尤度法を採用する。
• 各インデックス点 z における Ω(z) の非パラメトリック推定に、カーネル加重観測値を用いた局所定数スムージングを用いる。
• z を通じて推定された精度行列にグループLassoペナルティを適用し、共通のスパース構造を強制しつつ、関連の強さの変動を許容する。
• 計算効率を高めるために、凸最適化問題を近接反復スムージング法で解く。
• 理論的一貫性を確立するために、高次元的条件付き共分散行列のための一様な偏差バウンドを導出する。
• 推定量の漸近正規性を用いて、Ω(z) の個々の要素に対する点別信頼区間を構築する。

実験結果

リサーチクエスチョン

• RQ1 スパース構造が z を通じて共通であるが、関連の強さが z に応じて変化する場合に、条件付き逆分散共分散行列 Ω(z) を一貫して推定できるか？
• RQ2 提案手法は、高次元的状況において、真の条件付き独立構造を高い確率で正しく回復する「スパース性の一貫性（sparsistency）」を達成するか？
• RQ3 最小限の分布仮定のもとで、Ω(z) の個々のエントリに対する有効な点別信頼区間を構築できるか？
• RQ4 条件付き共分散行列のための一様な偏差バウンドは、高次元的状況における理論的保証を支えるのに十分にきついものか？
• RQ5 推定精度と変数選択性能の観点から、既存の手法と比較して本手法はどのように差をつけるか？

主な発見

• 提案手法はスパース性の一貫性を達成する：適切な正則化条件のもとで、X|Z の真の条件付き独立構造を高い確率で回復する。
• 高次元的条件付き共分散行列の一様な偏差バウンドが確立され、これは独立に理論的に興味深い結果である。
• 推定量の漸近正規性が確認されたうえで、点別信頼区間が有効である。これはリンドバーグ条件の検証によって証明された。
• 適切なバンド幅 h ≍ n^{-1/4} のもとで、精度行列およびその逆行列の両方について、推定量の収束速度が O_p(n^{-3/8}√log p) に達する。
• シミュレーションスタディでは、競合手法に比べて推定精度と変数選択性能に優れた結果が得られた。
• S&P 500株価リターンデータへの応用において、金融ネットワーク推定の実用的有用性が示された。