[論文レビュー] Missing Data in Sparse Transition Matrix Estimation for Sub-Gaussian Vector Autoregressive Processes

Amin Jalali, Rebecca Willett|arXiv (Cornell University)|Feb 26, 2018

Statistical Methods and Inference参考文献 7被引用数 4

ひとこと要約

本稿は、i.i.d. ベルヌーイマスクによるランダムに欠損する観測を伴う高次元のサブガウスィアン型ベクトル自己回帰（VAR）モデルにおいて、スパースな遷移行列回復のための新しいLASSOベースの推定量を提案する。非漸近的誤差バウンドを、新しい濃縮不等式と、ノイズの強凸濃縮性の下での新しい依存性測度 $φ_2(B_0)$ を用いて確立する。

ABSTRACT

High-dimensional time series data exist in numerous areas such as finance, genomics, healthcare, and neuroscience. An unavoidable aspect of all such datasets is missing data, and dealing with this issue has been an important focus in statistics, control, and machine learning. In this work, we consider a high-dimensional estimation problem where a dynamical system, governed by a stable vector autoregressive model, is randomly and only partially observed at each time point. Our task amounts to estimating the transition matrix, which is assumed to be sparse. In such a scenario, where covariates are highly interdependent and partially missing, new theoretical challenges arise. While transition matrix estimation in vector autoregressive models has been studied previously, the missing data scenario requires separate efforts. Moreover, while transition matrix estimation can be studied from a high-dimensional sparse linear regression perspective, the covariates are highly dependent and existing results on regularized estimation with missing data from i.i.d.~covariates are not applicable. At the heart of our analysis lies 1) a novel concentration result when the innovation noise satisfies the convex concentration property, as well as 2) a new quantity for characterizing the interactions of the time-varying observation process with the underlying dynamical system.

研究の動機と目的

• 部分的かつランダムに欠損するデータがある状況下で、高次元のベクトル自己回帰（VAR）モデルにおけるスパースな遷移行列の推定という課題に対処すること。
• 時系列データにおける強い時系列的および変数間の依存性のため、i.i.d. 共変量を仮定する従来の正則化推定手法の限界を克服すること。
• 特にサブガウスィアン型の創発ノイズとスパースな遷移構造を想定した下で、欠損データが存在する状況における推定誤差の理論的保証を構築すること。
• 時間的に変化する観測プロセスと潜在的力学系との間の相互作用を特徴付けるために、新しい依存性測度 $φ_2(B_0)$ を導入すること。
• 欠損データのパターンを考慮した制約付き最適化フレームワーク下で、提案された推定量の非漸近的 $c2$ および $c1$ 誤差バウンドを提供すること。

提案手法

• 欠損データを補正項（標本自己共分散の対角行列 $cD$ を含む）を用いて調整した修正された損失関数を導入することで、制約付きLASSO最適化問題として推定問題を定式化する。
• 母集団レベルの観測パターンを用いて損失関数を調整し、非凸最適化設定下でも一貫性を確保し、無限大に発散する解を回避する。
• 創発ノイズの強凸濃縮性の下で、欠損プロセスの標本共分散に対する新しい濃縮不等式を導出する。
• 観測プロセスと力学系との間の相互作用を定量化するための新しい依存性測度 $φ_2(B_0)$ を定義し、誤差バウンドにおいて中心的な役割を果たす。
• 標準的なLASSO解析フレームワーク（付録の定理6）を用い、新規の行列濃縮結果と組み合わせることで、$c1$ および $c2$ ノルムにおける推定誤差をバウンドする。
• 作用素ノルムの不等式および固有値分解技術を用いて誤差バウンドを導出する。特に、欠損設計行列 $cX$ 及びその完全行列 $cW$ との関係を活用する。

実験結果

リサーチクエスチョン

• RQ1 観測がランダムに欠損する状況下で、高次元VARモデルにおけるスパースな遷移行列推定を一貫して行うにはどうすればよいか？
• RQ2 i.i.d. 共変量の仮定が成り立たない、特に依存的で欠損のある時系列データにおける正則化推定を分析するために、どのような新しい理論的ツールが必要か？
• RQ3 観測プロセスと潜在的力学系との相互作用が推定精度に与える影響は何か。また、その影響をどのように定量化できるか？
• RQ4 創発ノイズの強凸濃縮性が、欠損データが存在する状況下での標本モーメントの濃縮に与える影響は何か？
• RQ5 この欠損データ設定下で、LASSO型推定量の非漸近的誤差バウンドを確立できるか。また、バウンドに重要な依存関係は何か？

主な発見

• 本稿は、適切な条件下で誤差が $O(\sqrt{\frac{\log p}{n}})$ のオーダーに比例するように、提案されたLASSO推定量の非漸近的 $c1$ および $c2$ 推定誤差バウンドを確立する。
• 創発ノイズの強凸濃縮性の下で、欠損プロセスの標本共分散に対する新しい濃縮不等式が導出され、推定誤差のより厳密な制御が可能になる。
• 観測プロセスと力学系との間の依存性は、誤差バウンドに現れる新しい量 $φ_2(B_0)$ を用いて捉えられ、スパarsity、時系列的依存性、欠損の相互作用を反映する。
• 提案された推定量は欠損データに対して頑健であり、欠損確率 $δ < 1$ の条件下では、設計行列がランダムにi.i.d. マスクによって汚染されても一貫性を保つ。
• 誤差バウンドはスパarsityレベル $k = \|B_0\|_0$、次元 $p$、および標本サイズ $n$ に依存し、$n$ が増加するか $k$ が減少するほどバウンドが小さくなる。
• i.i.d. ベルヌーイマスクに限定されず、ラグ0およびラグ1における非ゼロ自己共分散を有する任意の自己共分散定常観測プロセスへと一般化可能であり、多様な欠損データメカニズムへの適用範囲が拡大される。