[論文レビュー] On the statistical inference for large precision matrices with dependent data

Jinyuan Chang, Yumou Qiu+1 more|arXiv (Cornell University)|Mar 22, 2016

Statistical Methods and Bayesian Inference参考文献 2被引用数 3

ひとこと要約

本稿では、従属する時系列データ下で、超高次元精度行列の要素に対する漸近的に有効な信頼領域を構築するデータ駆動的手順を提案する。正則化ノードワイド回帰とカーネル型長期共分散推定器を組み合わせることで、定常性や共分散構造に関する強い構造的仮定を必要とせず、一様な被覆有効性を達成する。

ABSTRACT

Precision matrices play important roles in many statistical applications. We consider the statistical inference for precision matrices with ultra high-dimensional time dependent observations. More specifically, let $\boldsymbol{\Omega}$ be the precision matrix and $\mathcal{S}$ be a given index set of interest. We propose a data-driven procedure to construct a class of confidence regions $\mathcal{C}_{\mathcal{S},\alpha}$ for $\boldsymbol{\Omega}_{\mathcal{S}}$ such that $\sup_{0<\alpha<1} |\mathbb{P}(\boldsymbol{\Omega}_{\mathcal{S}}\in\mathcal{C}_{\mathcal{S},\alpha})-\alpha| ightarrow0$ as $n ightarrow\infty$, where $\boldsymbol{\Omega}_{\mathcal{S}}$ is a vector whose components are the elements of $\boldsymbol{\Omega}$ indexed by $\mathcal{S}$. The proposed procedure includes two steps. We first derive an estimator $\widehat{\boldsymbol{\Omega}}_{\mathcal{S}}$ for $\boldsymbol{\Omega}_{\mathcal{S}}$ via penalized node-wise regressions, and then approximate the distribution of $n^{1/2}|\widehat{\boldsymbol{\Omega}}_{\mathcal{S}}-\boldsymbol{\Omega}_{\mathcal{S}}|_\infty$ by that of the $l_\infty$-norm of an ultra high-dimensional Gaussian random vector with mean zero and covariance formulated as an estimate for the long-run covariance of an unobservable process. Our analysis shows that the kernel-type estimator initially suggested by Andrews (1991) for the fixed dimensional long-run covariance can be also employed in the proposed procedure for the ultra high-dimensional scenario without imposing any additional stringent structural assumptions on the long-run covariance. Owing to the form of the kernel-type estimator, we develop a computationally feasible algorithm to implement the proposed procedure. Theoretical analysis shows the proposed procedure works well even without imposing the stationary assumption on the data.

研究の動機と目的

• 観測値が超高次元的かつ時間的に依存する状況下での精度行列に関する統計的推論手順を開発すること。
• 指定された精度行列要素の部分集合に対する信頼領域を構築し、漸近的被覆有効性を維持すること。
• 定常性や長期共分散行列に対する特定のスパarsity構造といった制限的な仮定を回避すること。
• 弱い依存性を示す高次元時系列設定において、計算的に実行可能な推論を可能にすること。

提案手法

• 正則化ノードワイド回帰を用いて、関心のある精度行列要素を推定し、一貫性のある推定量 $ω’_{\mathcal{S}}$ を得る。
• 推定誤差 $n^{1/2}|\widehat{\boldsymbol{\Omega}}_{\mathcal{S}} - \boldsymbol{\Omega}_{\mathcal{S}}|_\infty$ の分布を、高次元正規分布ベクトルの $l_\infty$-ノルムを用いて近似する。
• アンドリュースト（1991）が提案した手法を応用し、観測不能なプロセスの長期共分散をカーネル型推定器で推定し、漸近的分布をモデル化する。
• 長期共分散に追加の構造的制約を課さずにカーネル推定器を用いることで、頑健性を向上させる。
• カーネル推定器の特定の構造を活用して、超高次元における推論が計算的に可能となるように効率的なアルゴリズムを開発する。

実験結果

リサーチクエスチョン

• RQ1 データが従属的かつ超高次元的である場合、高次元精度行列要素に対して有効な信頼領域を構築できるか？
• RQ2 定常性を仮定しない状況下でも、標本サイズが増加するに従い、一様な被覆確率を維持できるか？
• RQ3 アンドリュースト（1991）のカーネル型長期共分散推定器を、追加の仮定なしに超高次元設定に効果的に拡張できるか？
• RQ4 高次元時系列における推定誤差の漸近的分布を一貫して近似するにはどうすればよいか？

主な発見

• 提案手法による信頼領域は一様被覆有効性を達成する：$\sup_{0<\alpha<1} |\mathbb{P}(\boldsymbol{\Omega}_{\mathcal{S}} \in \mathcal{C}_{\mathcal{S},\alpha}) - \alpha| \to 0$ が $n \to \infty$ のとき成り立つ。
• 元の時系列の定常性を仮定しないままでも手法が有効であるため、適用範囲が広がる。
• カーネル型長期共分散推定器は、追加の構造的仮定なしに超高次元設定に直接適用可能である。
• カーネル推定器の特定の構造のおかげで、計算が実行可能となり、高次元における実装が可能である。