[논문 리뷰] Structured Black Box Variational Inference for Latent Time Series Models

Robert Bamler, Stephan Mandt|arXiv (Cornell University)|2017. 07. 04.

Generative Adversarial Networks and Image Synthesis참고 문헌 16인용 수 10

한 줄 요약

이 논문은 삼중대각 정규 변분 분포를 사용하여 구조적 잠재 시간 시리즈 모델에 대한 선형 시간(black box)변분 추론 알고리즘을 제안한다. 재파arameterization 그래디언트에 대해 전진-후진 알고리즘을 적응시킴으로써, 동적 단어 임베딩과 같은 복잡한 모델의 효율적이고 확장 가능한 훈련을 가능하게 하며, 예측 가능도에서 베이스라인을 능가하면서도 O(T) 복잡도를 유지한다.

ABSTRACT

Continuous latent time series models are prevalent in Bayesian modeling; examples include the Kalman filter, dynamic collaborative filtering, or dynamic topic models. These models often benefit from structured, non mean field variational approximations that capture correlations between time steps. Black box variational inference with reparameterization gradients (BBVI) allows us to explore a rich new class of Bayesian non-conjugate latent time series models; however, a naive application of BBVI to such structured variational models would scale quadratically in the number of time steps. We describe a BBVI algorithm analogous to the forward-backward algorithm which instead scales linearly in time. It allows us to efficiently sample from the variational distribution and estimate the gradients of the ELBO. Finally, we show results on the recently proposed dynamic word embedding model, which was trained using our method.

연구 동기 및 목표

• 시간 시리즈 모델에서 구조적이고 평균장이 아닌 변분 근사에 표준 블랙박스 변분 추론(BBVI)를 적용할 때 발생하는 계산 비효율성을 해결하기 위해.
• O(T²)의 그래디언트 추정 비용을 O(T)로 감소시킴으로써, 비공액 잠재 시간 시리즈 모델에서 스케일러블한 베이지안 추론을 가능하게 하기 위해.
• 밀도 행렬 연산을 피할 수 있는, 구조적 변분 분포와 호환되는 재파라미터화 기법을 개발하기 위해.
• 동적 단어 임베딩 모델에 대한 본 방법의 효과성을 입증하여 일반화 및 예측 성능 향상을 보여주기 위해.

제안 방법

• 삼중대각 정밀도 행렬을 이중대각 요소로 분해하여 전진-후진 알고리즘을 BBVI에 적응시킴으로써 선형 시간 계산을 효율적으로 수행한다.
• 행렬 역행렬 또는 곱셈을 피하는 재파라미터화 체계를 사용하여, 시간에 따라 전진 및 후진 순서의 전파를 통해 그래디언트 추정을 수행한다.
• 보조 변수를 도입하고, 이중대각 행렬에 대한 전진 및 후진 대입을 통해 선형 시스템을 풀어 그래디언트를 효율적으로 계산한다.
• 변분 분포와 우도 모델의 구조를 활용하여 기대하한 하한(ELBO)에 대한 그래디언트 추정기를 유도한다.
• 변분 분포가 잠재 단어 벡터를 잠재 옴스터하인-울렌벡 과정으로 모델링하는 동적 단어 임베딩 모델에 본 방법을 적용한다.
• 구조적 변분 분포에서 몬테카를로 샘플링을 수행하고, 재파라미터화를 통해 그래디언트를 계산함으로써 시간 시리즈의 구조를 유지한 채 미분 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 구조적이고 평균장이 아닌 변분 근사에 대해 블랙박스 변분 추론을 시간 시리즈 모델에서 효율적으로 적용할 수 있는가?
• RQ2 구조적 BBVI에서 그래디언트 추정의 O(T²) 비용을 정확도를 유지하면서 O(T)로 감소시킬 수 있는가?
• RQ3 선형 시간 추론을 갖는 구조적 BBVI는 동적 모델링 과제에서 평균장 또는 필터링 기반 접근법과 비교해 어떻게 성능을 내는가?
• RQ4 기존의 베이스라인과 비교해 이 방법이 동적 단어 임베딩 모델에서 예측 성능을 향상시킬 수 있는가?

주요 결과

• 제안된 구조적 BBVI 알고리즘은 O(T) 복잡도를 달성하여, 난이도가 높은 시간 시리즈에 대해 확장 가능함을 보여주며, 일반적인 BBVI의 이차적 증가와는 다름.
• Google Books 코퍼스(T=209)에서, 본 방법은 SGI, SGP, DSG-F를 모두 능가하는 예측 로그가능도를 보이며, 뛰어난 일반화 능력을 입증한다.
• 동적 스킵그램 스무딩 알고리즘(DSG-S)은 필터링 변형(DSG-F)에 비해 특히 초기 시간 단계에서 예측 가능도를 크게 향상시킨다.
• 이 방법은 동적 단어 임베딩과 같이 복잡한 비공액 잠재 시간 시리즈 모델에 대해 구조적 사후분포를 갖는 모델을 고효율성과 고정밀도로 훈련시킬 수 있다.
• 전진-후진에 기반한 재파라미터화 기법은 밀도 행렬 연산 없이 정확한 그래디언트 계산을 가능하게 하며, 미분 가능성과 확장 가능성을 유지한다.