[論文レビュー] Sparse Graphical Linear Dynamical Systems

Émilie Chouzenoux, V́ıctor Elvira|arXiv (Cornell University)|Jul 6, 2023

Gaussian Processes and Bayesian InferenceComputer Science参考文献 111被引用数 3

ひとこと要約

本稿では、静的グラフィカル・ラッソと動的グレーバーに基づく依存関係を統合する線形ガウス状態空間モデルのための新しい共同グラフィカルモデリングフレームワーク、DGLASSOを提案する。ブロック交互の主要化最小化アルゴリズムを用いることで、合成データおよび実際の気象データにおいて、従来手法を上回るパラメータ推定とスパースリカバリを達成する。

ABSTRACT

Time-series datasets are central in machine learning with applications in numerous fields of science and engineering, such as biomedicine, Earth observation, and network analysis. Extensive research exists on state-space models (SSMs), which are powerful mathematical tools that allow for probabilistic and interpretable learning on time series. Learning the model parameters in SSMs is arguably one of the most complicated tasks, and the inclusion of prior knowledge is known to both ease the interpretation but also to complicate the inferential tasks. Very recent works have attempted to incorporate a graphical perspective on some of those model parameters, but they present notable limitations that this work addresses. More generally, existing graphical modeling tools are designed to incorporate either static information, focusing on statistical dependencies among independent random variables (e.g., graphical Lasso approach), or dynamic information, emphasizing causal relationships among time series samples (e.g., graphical Granger approaches). However, there are no joint approaches combining static and dynamic graphical modeling within the context of SSMs. This work proposes a novel approach to fill this gap by introducing a joint graphical modeling framework that bridges the graphical Lasso model and a causal-based graphical approach for the linear-Gaussian SSM. We present DGLASSO (Dynamic Graphical Lasso), a new inference method within this framework that implements an efficient block alternating majorization-minimization algorithm. The algorithm's convergence is established by departing from modern tools from nonlinear analysis. Experimental validation on various synthetic data showcases the effectiveness of the proposed model and inference algorithm.

研究の動機と目的

• 状態空間モデル（SSM）において静的および動的依存関係を別々に扱う従来手法のギャップを解消すること。
• 線形ガウスSSM内での静的グラフィカル・ラッソと動的グレーバーに基づくモデリングを統合する包括的フレームワークの開発。
• 特に遷移行列Aのスパース推定を可能にするとともに、統計的および因果的依存関係を組み込むこと。
• 複雑なSSMのパラメータ推定に強い収束保証を持つ効率的な推論アルゴリズムの設計。
• 合成データおよび実世界の気象変動データセットを用いた手法の妥当性評価を通じて、最先端の手法を上回る性能を示すこと。

提案手法

• 線形ガウスSSMにおける静的（グラフィカル・ラッソ）および動的（グレーバーに基づく）依存関係を統合する共同グラフィカルモデリングフレームワークを提案する。
• 尤度関数にスパース性誘導ペナルティを組み込んだ、ブロック交互主要化最小化に基づく推論アルゴリズムDGLASSOを導入する。
• 非滑らかなスパース性誘導項を扱うために近似アルゴリズムを用い、計算を効率化する。
• EステップではカルマンフィルタおよびRTSスムージングを用いて後期平均および共分散を計算するEMに類似した構造を採用する。
• 目的関数を上回る補助関数（サロゲート関数）を構築するための主要化技術を適用し、収束が単調に保証されるようにする。
• 非線形解析の道具（特にKurdyka–Łojasiewicz不等式）を用いて収束性を確立し、緩い条件下でもグローバル収束を保証する。

Figure 4 : Evolution of RMSE, F1, cNMSE and loss scores on the estimation of ${\mathbf{A}}$ (left) and ${\mathbf{P}}$ (right) by DGLASSO, as a function of hyperparameters $(\lambda_{A},\lambda_{P})$ , for dataset A (averaged on 10 runs). As a comparison, the averaged RMSE scores for $(\lambda_{A},\l

実験結果

リサーチクエスチョン

• RQ1 線形ガウス状態空間モデルにおいて、静的および動的依存関係を統合的にモデル化できる統一フレームワークは存在するか？
• RQ2 遷移行列Aに対してスパース性を効果的に課す方法は何か？ その際、解釈可能性と推定精度を損なわないようにするには？
• RQ3 提案されたDGLASSOアルゴリズムは、GLASSO、rGLASSO、MLEM、GRAPHEMといった従来手法を上回るパラメータ推定とグラフ回復を達成するか？
• RQ4 高次元のSSMにおいて、ブロック交互主要化最小化アルゴリズムの収束特性はいかなるものか？
• RQ5 複雑な時間的および変数間依存関係を示す実世界の時系列データに対して、本手法はどのように性能を発揮するか？

主な発見

• すべてのスパースリティレベルにおいて、DGLASSOは遷移行列Aの推定で最小のRMSEを達成し、s_A = 27の時点でRMSE = 0.0605を記録。これはMLEM（0.0761）およびGRAPHEM（0.0446）を上回る性能である。
• s_A = 10の条件下で、DGLASSOはグラフ回復のAUCが0.9814を達成し、rGLASSO（0.7494）およびGLASSO（0.6667）を大きく上回った。
• 状態分布推定において、DGLASSOはs_A = 10の時点でcNMSE = 9.3856×10⁻⁷を達成し、MLEM（2.3831×10⁻⁶）およびGRAPHEM（8.9556×10⁻⁵）を上回った。
• 予測分布尤度（対数尤度）は、s_A = 10の時点でDGLASSOが12,290.79を記録し、GRAPHEMの29,034.72を下回った。これは予測精度が優れていることを示している。
• AUC、F1、RMSEの指標において、DGLASSOはすべてのスパースリティレベルでMLEM、GLASSO、rGLASSO、GRAPHEMを安定して上回った。
• アルゴリズムは現代的な非線形解析ツール（Kurdyka–Łojasiewicz不等式を含む）を用いて検証され、強力な収束特性を示した。

Figure 5 : Box plots for the RMSE and F1 scores when running MLEM (left) and DGLASSO (right) on 50 randomly generated LG-SSM time series, for dataset A (top) and dataset D (bottom). DGLASSO outperforms MLEM on all runs, in terms of accuracy metrics (the higher, the better), while its RMSE scores are