[論文レビュー] Inference of High-dimensional Autoregressive Generalized Linear Models

Eric C. Hall, Garvesh Raskutti+1 more|arXiv (Cornell University)|May 9, 2016

Statistical Methods and Inference参考文献 55被引用数 28

ひとこと要約

本稿では、ポアソン過程やベルヌーイ過程などの非ガウス設定における統計的推論を可能にする、高次元自己回帰一般化線形モデル（GLAR）のスパarsity正則化付き最尤推定量を提案する。著者たちは、従属データに対するマーティングール濃度不等式と経験過程理論を組み合わせることで、ネットワーク構造制約下での推定量の性能を定量化するサンプル複雑性バウンドを導出する。

ABSTRACT

Vector autoregressive models characterize a variety of time series in which linear combinations of current and past observations can be used to accurately predict future observations. For instance, each element of an observation vector could correspond to a different node in a network, and the parameters of an autoregressive model would correspond to the impact of the network structure on the time series evolution. Often these models are used successfully in practice to learn the structure of social, epidemiological, financial, or biological neural networks. However, little is known about statistical guarantees on estimates of such models in non-Gaussian settings. This paper addresses the inference of the autoregressive parameters and associated network structure within a generalized linear model framework that includes Poisson and Bernoulli autoregressive processes. At the heart of this analysis is a sparsity-regularized maximum likelihood estimator. While sparsity-regularization is well-studied in the statistics and machine learning communities, those analysis methods cannot be applied to autoregressive generalized linear models because of the correlations and potential heteroscedasticity inherent in the observations. Sample complexity bounds are derived using a combination of martingale concentration inequalities and modern empirical process techniques for dependent random variables. These bounds, which are supported by several simulation studies, characterize the impact of various network parameters on estimator performance.

研究の動機と目的

• 神経パルス列や流行病の伝播などの、非ガウス的で高次元な設定における自己回帰モデルに対する統計的保証の欠如に対処すること。
• ポアソン過程やベルヌーイ過程を含む、ベクトル一般化線形自己回帰（GLAR）モデルにおける推論のための統一的枠組みを構築すること。
• スパarsityおよび従属性制約下での高次元自己回帰パラメータ推定におけるサンプル複雑性バウンドを確立すること。
• 時系列で一般的に見られる従属的かつ異分散性のある観測に対して失敗する既存手法の限界を克服すること。
• ソーシャルネットワーク、神経科学、疫学などの応用分野における非ガウス的モデルを用いたネットワーク構造学習の理論的支援を提供すること。

提案手法

• 高次元GLARモデルにおける自己回帰パラメータ推定に、スパarsity正則化付き最尤推定量を用いる。
• 時系列観測における時間的依存性および異分散性を扱うために、マーティングール濃度不等式を適用する。
• 従属データに対する経験過程の対称化を実現するため、逐次ラデマッハ複雑度を用いることで、関数クラス全体にわたる一様制御を可能にする。
• 従属確率変数に特化した現代の経験過程技術を組み合わせ、有限標本バウンドを導出する。
• ネットワークのスパarsity、信号強度、モーメント条件に依存する理論的サンプル複雑性バウンドを導出する。
• ベルヌーイおよびポアソン自己回帰モデルにおけるシミュレーションスタディを通じて、理論的知見を検証する。

実験結果

リサーチクエスチョン

• RQ1 高次元非ガウス的時系列における自己回帰パラメータを信頼性高く推定するために、最小でどの程度の標本サイズが必要か？
• RQ2 ネットワークのスパarsityおよび依存構造は、GLARモデル推定量の統計的性能にどのように影響を与えるか？
• RQ3 従属的かつ非ガウス的時系列におけるスパarsity正則化推定量に対して、理論的保証を確立できるか？
• RQ4 リンク関数の選択（例：ポアソン過程のための対数線形）が、モデルの妥当性および推定精度に果たす役割は何か？
• RQ5 マーティングールに基づく濃度不等式は、時系列モデルにおいてi.i.d.仮定と比較して、有限標本解析をどのように改善するか？

主な発見

• 著者たちは、自己回帰構造のスパarsityおよびネットワークの最大次数に従ってスケーリングする高次元GLARモデルのサンプル複雑性バウンドを導出する。
• バウンドは、真のモデルが十分にスパースであれば、変数の数が観測数を上回る場合でも一貫した推定が可能であることを示している。
• 解析により、スパarsity正則化付き最尤推定量が、ややきついモーメントおよび依存性条件の下で最適の収束レートを達成することが立証された。
• 理論的結果は、ベルヌーイおよびポアソン自己回帰モデルにおけるネットワーク構造の正確な回復を示すシミュレーションスタディによって裏付けられている。
• マーティングール濃度不等式と逐次ラデマッハ複雑度の使用により、従属的かつi.i.d.でない設定における推定誤差の非漸近的制御が可能になった。
• この枠組みは、神経パルス列解析や流行病伝播モデリングなどの応用分野におけるネットワーク構造学習の厳密な基盤を提供する。