[논문 리뷰] The Neural Moving Average Model for Scalable Variational Inference of State Space Models

Tom Ryder, Dennis Prangle외 2명|arXiv (Cornell University)|2019. 10. 02.

Fault Detection and Control Systems인용 수 10

한 줄 요약

이 논문은 상태공간모델을 위한 새로운 생성적 프레임워크인 신경 이동 평균(nMA) 모델을 제안한다. 이 모델은 은닉 상태 샘플링의 局소성(locality)을 보장함으로써 확장 가능한 미니배치 변분 추론을 가능하게 한다. 제한된 수신장(receptive field)을 가진 컨volution 신경망을 사용함으로써, 부분 시계열에 대한 효율적이고 O(1)-비용의 샘플링이 가능해져 확률적 경사하강 최적화를 촉진하고, 긴 시계열 데이터에서 조밀하거나 부분적인 관측이 있을 경우에도 분석을 몇 분 내로 정확하게 수행할 수 있다.

ABSTRACT

Variational inference has had great success in scaling approximate Bayesian inference to big data by exploiting mini-batch training. To date, however, this strategy has been most applicable to models of independent data. We propose an extension to state space models of time series data based on a novel generative model for latent temporal states: the neural moving average model. This permits a subsequence to be sampled without drawing from the entire distribution, enabling training iterations to use mini-batches of the time series at low computational cost. We illustrate our method on autoregressive, Lotka-Volterra, FitzHugh-Nagumo and stochastic volatility models, achieving accurate parameter estimation in a short time.

연구 동기 및 목표

• 장기 시계열 상태공간모델에서 베이지안 추론의 계산 불가능성 문제를 해결하기 위해 O(T)의 가능도 평가 비용을 감소시키는 것.
• 연속 상태 SSM에 대해 확장 가능한 변분 추론을 가능하게 하기 위해, 효율적인 미니배치 학습을 위한 국소성 성질을 가진 변분 가족을 도입하는 것.
• 복잡한 시간적 의존성을 포착하면서도, 미니배치에서의 부분 시계열로부터 편향 없는 로그 밀도 추정을 지원하는 잠재 상태의 생성 모델을 개발하는 것.
• 희박한 관측, 부분적인 상태 접근, 낮은 관측 노이즈, 큰 T를 가진 어려운 SSM들, 특히 실제 데이터에 대해 효과를 입증하는 것.

제안 방법

• 독립적 동일분포 N(0,1) 노이즈와 관측 데이터를 기반으로 하는 정규화 플로 기반 생성 모델인 신경 이동 평균(nMA) 모델을 제안한다.
• 유한한 수신장을 가진 CNN을 사용하여 각 잠재 상태가 입력의 국소 윈도우에만 의존하도록 하여, 부분 시계열의 O(1) 샘플링을 가능하게 한다.
• nMA를 정규화 플로로 간주하여, 미니배치 샘플로부터 전체 잠재 체인의 편향 없는 로그 밀도 추정이 가능하도록 한다.
• 미니배치 기반 경사하강법을 사용하여 진짜 사후분포와 근사 사후분포 간의 KL 발산을 최소화하는 확률적 경사하강 변분 추론을 구현한다.
• 인식망을 사용한 암시적 추론(amortized inference)을 적용하여 변분 사후분포 q(x|y;φ)를 매개변수화한다.
• 자기회귀 모델, Lotka-Volterra 모델, FitzHugh-Nagumo 모델, 그리고 확률적 변동성 모델에 이 프레임워크를 적용하여 장기 시계열에서의 확장 가능한 학습을 실현한다.

실험 결과

연구 질문

• RQ1 잠재 상태의 미니배치 샘플링을 가능하게 함으로써, 상태공간모델에 대한 변분 추론 방법이 반복당 O(1) 비용을 달성할 수 있는가?
• RQ2 잠재 상태에 대한 신경 생성 모델이 부분 시계열로부터의 편향 없는 전체 로그 밀도 추정을 지원함으로써 확장 가능한 추론이 가능한가?
• RQ3 제안된 nMA 기반 변분 추론 방법이 장기 시계열, 희박한 관측, 관측되지 않은 성분을 포함한 SSM에서 정확한 매개변수 추정을 달성하는가?
• RQ4 스토캐스틱 볼라티리티 및 FitzHugh-Nagumo 모델과 같은 어려운 SSM에서 기존 방법들과 비교해 정확도와 학습 시간 측면에서 어떻게 성능을 내는가?

주요 결과

• nMA 모델은 CNN의 수신장을 제한함으로써 잠재 상태 부분 시계열의 O(1) 비용 샘플링을 가능하게 하여, 미니배치 학습에 필요한 국소성 성질을 만족시킨다.
• 모든 테스트 모델에 대해 정확한 사후 추정을 달성하였으며, 관측되지 않은 성분이 있거나 관측 빈도가 낮은 경우에도 진짜 사후분포와 거의 구분되지 않을 정도로 우수한 성능을 보였다.
• 100만 단계의 FitzHugh-Nagumo 모델 학습에 약 180분이 소요되었고, 이로 인한 매개변수 추정치는 기준값과 일치하는 결과를 보였다.
• 단일 GPU에서 1,508주간의 주간 관측 자료를 바탕으로 한 스토캐스틱 볼라티리티 모델 분석은 단 20분 만에 수행되었으며, 이전 연구에서 MCMC를 사용한 결과와 일치하였다.
• 특히 장기 시계열에서 기존의 변분 방법보다 빠른 학습 속도와 뛰어난 확장성을 확보하면서도 높은 정확도를 유지하였다.
• 낮은 관측 분산과 부분적인 상태 관측과 같은 어려운 관측 환경에서도 성능이 뛰어나고 유연성을 입증하였다.