[논문 리뷰] Sparse Graphical Linear Dynamical Systems

Émilie Chouzenoux, V́ıctor Elvira|arXiv (Cornell University)|2023. 07. 06.

Gaussian Processes and Bayesian InferenceComputer Science참고 문헌 111인용 수 3

한 줄 요약

이 논문은 정적 그래픽스 Lasso와 동적 그란저 기반 의존성을 통합한 선형-가우시안 상태공간 모델을 위한 새로운 공동 그래픽 모델링 프레임워크인 DGLASSO를 제안한다. 블록 교대 주도 최소화 알고리즘을 사용하여, 합성 및 실제 기상 데이터에서 기존 방법들보다 정확도와 수렴성 면에서 뛰어난 매개변수 추정과 희박성 복구 성능을 달성한다.

ABSTRACT

Time-series datasets are central in machine learning with applications in numerous fields of science and engineering, such as biomedicine, Earth observation, and network analysis. Extensive research exists on state-space models (SSMs), which are powerful mathematical tools that allow for probabilistic and interpretable learning on time series. Learning the model parameters in SSMs is arguably one of the most complicated tasks, and the inclusion of prior knowledge is known to both ease the interpretation but also to complicate the inferential tasks. Very recent works have attempted to incorporate a graphical perspective on some of those model parameters, but they present notable limitations that this work addresses. More generally, existing graphical modeling tools are designed to incorporate either static information, focusing on statistical dependencies among independent random variables (e.g., graphical Lasso approach), or dynamic information, emphasizing causal relationships among time series samples (e.g., graphical Granger approaches). However, there are no joint approaches combining static and dynamic graphical modeling within the context of SSMs. This work proposes a novel approach to fill this gap by introducing a joint graphical modeling framework that bridges the graphical Lasso model and a causal-based graphical approach for the linear-Gaussian SSM. We present DGLASSO (Dynamic Graphical Lasso), a new inference method within this framework that implements an efficient block alternating majorization-minimization algorithm. The algorithm's convergence is established by departing from modern tools from nonlinear analysis. Experimental validation on various synthetic data showcases the effectiveness of the proposed model and inference algorithm.

연구 동기 및 목표

• 상태공간 모델(SMS)에서 정적 및 동적 의존성을 별도로 다루는 기존 방법의 격차를 보완하기 위해.
• 선형-가우시안 SSM 내에서 정적 그래픽스 Lasso와 동적 그란저 기반 모델링을 통합한 통합 프레임워크를 개발하기 위해.
• 특히 전이 행렬 A에 대한 희박한 추정을 가능하게 하되, 통계적 및 인과적 의존성을 모두 통합하기 위해.
• 복잡한 SSM 매개변수 추정을 위한 강력한 수렴 보장을 갖춘 효율적인 추론 알고리즘 설계를 위해.
• 합성 데이터와 실제 기상 변동성 데이터 세트에서의 방법 검증을 통해 최신 기술 대비 향상된 성능을 입증하기 위해.

제안 방법

• 선형-가우시안 SSM 내에서 정적(그래픽스 Lasso)과 동적(그란저 기반) 의존성을 통합하는 공동 그래픽 모델링 프레임워크를 제안한다.
• 이론적 최대화-최소화 기반의 블록 교대 알고리즘을 활용해 희박성 유도 페널티를 적용한 우도 최적화를 위한 DGLASSO 추론 알고리즘을 도입한다.
• 비연속적인 희박성 유도 항을 다루기 위해 프록시 알고리즘을 사용하여 효율적인 계산을 가능하게 한다.
• E단계에서 칼만 필터와 RTS 스무딩기를 통해 후행 평균과 공분산을 계산하는 EM 유사 구조를 활용한다.
• 목적 함수를 상위로 둘 수 있는 대체 함수를 구성하기 위해 주도 기법을 적용하여 수렴의 단조성 보장한다.
• 비선형 분석 도구, 특히 Kurdyka–Łojasiewicz 부등식을 활용해 수렴성을 확립하여 미약한 조건 하에서도 전역 수렴을 보장한다.

Figure 4 : Evolution of RMSE, F1, cNMSE and loss scores on the estimation of ${\mathbf{A}}$ (left) and ${\mathbf{P}}$ (right) by DGLASSO, as a function of hyperparameters $(\lambda_{A},\lambda_{P})$ , for dataset A (averaged on 10 runs). As a comparison, the averaged RMSE scores for $(\lambda_{A},\l

실험 결과

연구 질문

• RQ1 선형-가우시안 상태공간 모델에서 정적 및 동적 의존성을 통합적으로 모델링할 수 있는가?
• RQ2 전이 행렬 A에 대해 희박성을 효과적으로 적용하면서도 해석 가능성과 추정 정확도를 유지할 수 있는가?
• RQ3 제안된 DGLASSO 알고리즘이 GLASSO, rGLASSO, MLEM, GRAPHEM와 같은 기존 방법들보다 더 나은 매개변수 추정과 그래프 복구 성능을 달성하는가?
• RQ4 고차원 SSM에서 블록 교대 주도 최소화 알고리즘의 수렴 행동은 어떠한가?
• RQ5 복잡한 시간적 및 다변량 의존성을 지닌 실제 시계열 데이터에서 이 방법의 성능은 어떠한가?

주요 결과

• 모든 희박성 수준에서 전이 행렬 A 추정의 RMSE가 가장 낮으며, s_A = 27일 때 RMSE = 0.0605를 기록하여 MLEM(0.0761)과 GRAPHEM(0.0446)를 모두 앞선다.
• s_A = 10일 때 DGLASSO는 그래프 복구에 대해 AUC = 0.9814를 달성하여 rGLASSO(0.7494)와 GLASSO(0.6667)를 크게 앞선다.
• 상태 분포 추정에서 DGLASSO는 s_A = 10일 때 cNMSE = 9.3856×10⁻⁷을 기록하여 MLEM(2.3831×10⁻⁶)과 GRAPHEM(8.9556×10⁻⁵)를 모두 초월한다.
• 예측 분포 우도(로그우도)는 s_A = 10일 때 DGLASSO가 12,290.79로 GRAPHEM의 29,034.72보다 낮게 나타나 예측 정확도가 뛰어나다는 것을 시사한다.
• AUC, F1, RMSE 지표에서 모든 희박성 수준에서 DGLASSO는 MLEM, GLASSO, rGLASSO, GRAPHEM를 일관되게 뛰어넘는 안정적인 수렴성과 뛰어난 성능을 유지한다.
• Kurdyka–Łojasiewicz 부등식을 포함한 현대 비선형 분석 도구를 통해 검증된 강력한 수렴 성질을 보여준다.

Figure 5 : Box plots for the RMSE and F1 scores when running MLEM (left) and DGLASSO (right) on 50 randomly generated LG-SSM time series, for dataset A (top) and dataset D (bottom). DGLASSO outperforms MLEM on all runs, in terms of accuracy metrics (the higher, the better), while its RMSE scores are