[논문 리뷰] State Space LSTM Models with Particle MCMC Inference

Xun Zheng, Manzil Zaheer외 4명|arXiv (Cornell University)|2017. 11. 30.

Model Reduction and Neural Networks참고 문헌 22인용 수 29

한 줄 요약

이 논문은 LSTMs의 표현 능력과 상태공간 모델의 확률적 해석 가능성의 장점을 결합한 상태공간LSTM(SSL) 모델을 소개한다. 순차 몽테카를로(SMC)를 통한 입자 기반 MCMC 추론을 통해 제약이 있는 인수분해 가정 없이 은닉 상태의 공동 사후분포에서 직접 샘플링함으로써, 이전의 인수분해 추론 방법에 비해 언어 모델링 및 사용자 행동 예측 작업에서 더 뛰어나고 안정적인 성능을 달성한다.

ABSTRACT

Long Short-Term Memory (LSTM) is one of the most powerful sequence models. Despite the strong performance, however, it lacks the nice interpretability as in state space models. In this paper, we present a way to combine the best of both worlds by introducing State Space LSTM (SSL) models that generalizes the earlier work \cite{zaheer2017latent} of combining topic models with LSTM. However, unlike \cite{zaheer2017latent}, we do not make any factorization assumptions in our inference algorithm. We present an efficient sampler based on sequential Monte Carlo (SMC) method that draws from the joint posterior directly. Experimental results confirms the superiority and stability of this SMC inference algorithm on a variety of domains.

연구 동기 및 목표

• 표준 LSTMs의 해석 가능성 부족 문제를 해결하면서도 복잡한 비마르코프 연속 시계열을 모델링할 수 있는 능력을 유지하고자 한다.
• 이전의 은닉 시계열 모델 추론 방법에서의 인수분해 사후 근사의 한계를 극복하고자 한다.
• 변분 가정 없이 은닉 상태의 전체 공동 사후분포에서 샘플링하는 원칙적이고 확장 가능한 추론 방법을 개발하고자 한다.
• SMC를 통한 직접적 공동 사후분포 샘플링이 다양한 시계열 모델링 과제에서 모델 안정성과 성능 향상에 기여함을 입증하고자 한다.

제안 방법

• 은닉 상태의 동역학은 LSTM로 모델링하고 관측값 생성은 확률적 방출 모델로 분리하는 상태공간LSTM(SSL) 모델을 제안한다.
• 은닉 상태 시퀀스의 공동 사후분포에서 직접 샘플링하기 위해 순차 몽테카를로(SMC)와 입자 기반 지박스 샘플링을 활용한다.
• 변분 추론에서 흔히 사용되는 제약이 있는 평균장 또는 인수분해 가정을 피하기 위해 입자 기반의 사후분포 근사법을 사용한다.
• SMC를 적용하여 E단계를 전체 사후분포 샘플로 대체하는 스토케스틱 EM을 수행함으로써 더 정확한 파라미터 추정을 가능하게 한다.
• 입자 경로를 활용해 순차적 데이터 내 은닉 주제 전이를 시각화하고 해석한다.
• 입자 수에 따라 선형적으로 확장되도록 추론를 설계하여 효율성을 위해 병렬 처리를 가능하게 한다.

실험 결과

연구 질문

• RQ1 통합 프레임워크 내에서 LSTMs의 표현 능력과 상태공간 모델의 해석 가능성의 장점을 조합할 수 있는가?
• RQ2 은닉 상태의 전체 공동 사후분포에서 샘플링하는 것이 시계열 모델링에서 인수분해 사후 근사에 비해 성능을 향상시키는가?
• RQ3 제안된 SMC 기반 추론은 다양한 데이터셋에서 이전 방법과 비교해 안정성과 일반화 능력 측면에서 어떻게 성능을 내는가?
• RQ4 전체 사후분포 샘플링이 근사 추론에 비해 뚜렷한 이점을 제공하는 설정은 어떤 경우인가?

주요 결과

• SMC 기반 추론 방법은 평가된 모든 데이터셋에서 인수분해 추론 방법을 일관되게 뛰어넘으며, 보류된 테스트 세트에서 더 낮은 퍼플렉서티를 달성한다.
• 위키백과 언어 모델링 과제에서 SMC 방법은 250개 주제로 테스트 퍼플렉서티 1942.26을 기록하여 인수분해 방법을 압도하고 표준 LSTMs의 성능과도 유사하게 유지한다.
• SMC 방법은 더 희박한 단어-주제 행렬(비제로 요소가 적은)을 생성하여 더 나은 일반화와 모델의 해석 가능성 잠재력을 보여준다.
• 사용자 클릭 예측 데이터에서 SMC 방법은 인수분해 방법의 퍼플렉서티 2254를 100만 명의 사용자로 1447로 감소시켜 덜 구조화된 데이터에서 뛰어난 성능을 보였다.
• 입자 경로 시각화 결과 모델이 시간이 지남에 따라 의미 있고 희박한 주제 전이로 수렴하는 것으로 나타나, 모델의 해석 가능성과 동적 모델링 능력이 확인되었다.
• 구조화된 도메인에서는 대규모 데이터셋에서 SMC와 인수분해 추론 간 성능 격차가 줄어들지만, 사용자 행동과 같은 덜 구조화된 도메인에서는 여전히 뚜렷한 격차가 유지된다.