[論文レビュー] Sparse Principal Component Analysis for High Dimensional Vector Autoregressive Models

Zhaoran Wang, Fang Han+1 more|arXiv (Cornell University)|Jun 30, 2013

Blind Source Separation Techniques参考文献 27被引用数 3

ひとこと要約

本稿は、次元 d と標本サイズ T が両方とも増大する二重漸近的枠組みの下で、高次元ベクトル自己回帰（VAR）時系列に対してスパース主成分分析（SPCA）を提案する。VAR遷移行列を余計なパラメータとみなして、従属する時系列データに直接SPCAを適用し、遷移行列の固有ノルム ∥A∥₂ が推定レートにきわめて重要な役割を果たすことを示した。主な貢献は、主固有ベクトルおよび主部分空間推定の非漸近的収束レートを確立し、最適パラメトリックレートが達成される条件を特定することにある。

ABSTRACT

We study sparse principal component analysis for high dimensional vector autoregressive time series under a doubly asymptotic framework, which allows the dimension $d$ to scale with the series length $T$. We treat the transition matrix of time series as a nuisance parameter and directly apply sparse principal component analysis on multivariate time series as if the data are independent. We provide explicit non-asymptotic rates of convergence for leading eigenvector estimation and extend this result to principal subspace estimation. Our analysis illustrates that the spectral norm of the transition matrix plays an essential role in determining the final rates. We also characterize sufficient conditions under which sparse principal component analysis attains the optimal parametric rate. Our theoretical results are backed up by thorough numerical studies.

研究の動機と目的

• 従属観測を持つ高次元時系列における主成分分析の挑戦に取り組む。
• 時系列に相関がある弱定常ベクトル自己回帰過程にスパースPCAを拡張する。
• 遷移行列の固有ノルム ∥A∥₂ が高次元設定における推定精度に与える影響を分析する。
• 時間的依存性の下での固有ベクトルおよび部分空間推定の非漸近的収束レートを確立する。
• スパースPCAが時間的相関がある中でも最適パラメトリックレートを達成する条件を特定する。

提案手法

• VAR遷移行列 A を余計なパラメータとみなして、多変量時系列 x1,…,xT を i.i.d. とみなして直接スパース主成分分析を適用する。
• 次元 d と標本サイズ T が両方とも増大する二重漸近的枠組みを採用し、d ≫ T が可能になるようにする。
• 非漸近的解析を用いて主固有ベクトルおよび主部分空間推定の収束レートを導出する。
• 遷移行列の固有ノルム ∥A∥₂ が最終的な収束レートを決定する役割を分析する。
• 高次元時系列の依存性を扱うために、Loh and Wainwright (2012) の補題を適応する。
• 一様にスパースな主固有ベクトル（非ゼロ成分が最大 s 個）を仮定することで、一貫性のある推定を可能にする。

実験結果

リサーチクエスチョン

• RQ1 高次元時系列における時間的依存性は、スパースPCAの性能にどのように影響するか？
• RQ2 VAR遷移行列の固有ノルム ∥A∥₂ は、固有ベクトル推定の収束レートにどのような影響を及けるか？
• RQ3 どのような条件下でスパースPCAが高次元的・従属的時系列において最適パラメトリックレートを達成できるか？
• RQ4 i.i.d. データを想定した標準的なSPCA手法を、理論的保証のもとで従属時系列に直接適用できるか？
• RQ5 標本サイズ T、次元 d、スパarsityレベル s の間の相互作用が、VARモデルにおける推定精度にどのように影響するか？

主な発見

• 遷移行列の固有ノルム ∥A∥₂ は、主固有ベクトル推定器の収束レートを決定する上できわめて重要な役割を果たす。
• ∥A∥₂ が 1 から離れている限り、提案手法は主固有ベクトルの非漸近的収束レートが (s log d / T)^{1/2} のオーダーに達する。
• m > 1 の主部分空間推定においても、同様の条件下で収束レートは (m s log d / T)^{1/2} のオーダーとなる。
• 固有ノルム ∥A∥₂ が十分に小さく、かつスパarsityが存在する場合には、最小最大最適パラメトリックレートが達成される。
• 数値実験により、主固有ベクトル推定誤差が T の増加とともに減少し、∥A∥₂ の減少とともに減少することが確認された。∥A∥₂=0.6 の場合、T=16 のとき誤差は約1.23、T=500 のときには約0.13に低下した。
• d が T よりもはるかに大きい場合でも、本手法は有効であることがシミュレーションで示された。d=256、T=500 の設定で、∥A∥₂=0.6 のとき、m=4 の部分空間推定誤差は 0.31 であった。