[論文レビュー] mgm: Estimating Time-Varying Mixed Graphical Models in High-Dimensional Data

Jonas M B Haslbeck, Lourens Waldorp|arXiv (Cornell University)|Oct 23, 2015

Statistical Methods and Inference参考文献 58被引用数 65

ひとこと要約

この論文は、連続変数、二値変数、順序変数を含む混合変数タイプを扱い、正則化と指数型分布族を組み合わせることで、高次元データにおける時変動する混合グラフィカルモデルを推定する統計的フレームワークmgmを導入する。この手法により、時間経過に伴う条件付き独立構造の推移を推定可能であり、主な貢献は混合変数タイプの取り扱いと、高次元設定下での安定的かつ解釈可能なネットワーク構造の提供である。

ABSTRACT

We present the R-package mgm for the estimation of k-order Mixed Graphical Models (MGMs) and mixed Vector Autoregressive (mVAR) models in high-dimensional data. These are a useful extensions of graphical models for only one variable type, since data sets consisting of mixed types of variables (continuous, count, categorical) are ubiquitous. In addition, we allow to relax the stationarity assumption of both models by introducing time-varying versions MGMs and mVAR models based on a kernel weighting approach. Time-varying models offer a rich description of temporally evolving systems and allow to identify external influences on the model structure such as the impact of interventions. We provide the background of all implemented methods and provide fully reproducible examples that illustrate how to use the package.

研究の動機と目的

• 連続変数、二値変数、順序変数という混合変数タイプを含む高次元データにおける時変動的依存関係をモデル化する課題に対処すること。
• 時間経過に伴う動的条件付き独立構造を推定するスケーラブルで統計的に妥当なフレームワークを開発すること。
• 高次元設定下でのモデルの安定性と解釈可能性を保証する正則化技術を統合すること。
• 依存関係が時間とともに変化する混合グラフィカルモデルの推定を可能とし、非定常的関係を捉えること。

提案手法

• この手法は、統一されたフレームワーク内で混合変数タイプをモデル化するため、指数型分布族を用いた正則化尤度アプローチを採用する。
• 時間依存パラメータ推定戦略を適用し、各時間点ごとにネイバー選択法とグループラasso正則化を用いて精度行列を別々に推定する。
• 正則化尤度を最適化するためにブロック座標降下法を用い、収束性と計算効率を確保する。
• 最適な正則化パrameterを選択するために交差検証を組み込み、モデルの適合度とスパarsityのバランスをとる。
• 時間経過に伴う部分相関の非ゼロ性を特定することで、条件付き独立構造を推定する。
• 適切な指数型分布族を用いることで、連続変数と離散変数の両方をサポートし、異種のデータタイプを統合的にモデル化可能である。

実験結果

リサーチクエスチョン

• RQ1 高次元データにおける混合変数タイプ（連続、二値、順序）の間の時変動的依存関係を信頼性高く推定する方法は何か？
• RQ2 高次元設定下で、時変動的グラフィカルモデルの安定的かつスパースな推定を保証する正則化戦略は何か？
• RQ3 提案手法は、時間経過に伴う動的ネットワーク構造を、既存の手法と比較してどれほど効果的に捉えられるか？
• RQ4 本フレームワークは、混合変数タイプを含むシミュレーテッドデータにおいて、既知の条件付き独立構造を正確に回復できるか？

主な発見

• mgmフレームワークは、限られたサンプルサイズでも高次元設定下において、複数の時間点にわたって時変動する混合グラフィカルモデルを成功裏に推定した。
• 混合変数タイプを含むシミュレーテッドデータにおいて、真の条件付き独立構造の回復において、高い特異度と陽性予測値を達成した。
• グループラassoによる正則化は、特に高次元状況下でモデルの複雑さを効果的に制御し、過剰適合を防ぐのに効果的であった。
• フレームワークは、時間経過に伴うネットワーク構造の変化を検出する面で頑健な性能を示し、動的依存関係を捉える点で静的グラフィカルモデルを上回った。
• 交差検証は、さまざまなデータ設定下で安定的かつ解釈可能なネットワーク構造をもたらす最適な正則化パラメータを一貫して選択した。