[논문 리뷰] Deep State Space Models for Unconditional Word Generation

Florian Schmidt, Thomas Hofmann|arXiv (Cornell University)|2018. 06. 12.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 교사 강제 없이도 성능이 자동회귀 RNN과 비슷한 수준에 이르는 비자기적 딥 스테이트 스페이스 모델을 제안한다. 이 모델은 상태 전이의 노이즈를 통해 전역적 불확실성과 토큰 방출의 불확실성으로 국소적 불확실성을 분리한다. 정규화 플로우를 활용한 변분 추론을 통해, 스며들어 있는 불확실성을 깔끔하게 분리하고 중요도 가중 변분 추론을 통해 효과적으로 학습할 수 있음을 입증한다.

ABSTRACT

Autoregressive feedback is considered a necessity for successful unconditional text generation using stochastic sequence models. However, such feedback is known to introduce systematic biases into the training process and it obscures a principle of generation: committing to global information and forgetting local nuances. We show that a non-autoregressive deep state space model with a clear separation of global and local uncertainty can be built from only two ingredients: An independent noise source and a deterministic transition function. Recent advances on flow-based variational inference can be used to train an evidence lower-bound without resorting to annealing, auxiliary losses or similar measures. The result is a highly interpretable generative model on par with comparable auto-regressive models on the task of word generation.

연구 동기 및 목표

• 학습 중 교사 강제로 인해 발생하는 체계적 편향을 해결하기 위해.
• 전역적 및 국소적 불확실성의 명확한 분리가 효과적인 무조건적 텍스트 생성을 가능하게 하는지 조사하기 위해.
• 보조 손실, 냉각 또는 사전 훈련 없이도 높은 해석 가능성과 함께 유의미한 생성 모델을 개발하기 위해.
• 상태 전이의 노이즈와 방출 불확실성에서의 노이즈를 분리함으로써 시퀀스 모델링에서의 불확실성의 역할을 평가하기 위해.

제안 방법

• 독립 동일분포 정규분포 노이즈 ξt로 구동되는 결정론적 전이 함수 F(ht, ξt) = ht+1를 갖는 딥 스테이트 스페이스 모델을 제안한다.
• 스티ochasticity 분리: 상태 진동에서 유래한 전역적 불확실성(노이즈 ξt), 토큰 방출에서 유래한 국소적 불확실성(P(wt|ht)).
• 진짜 사후분포를 근사하기 위해 구조화된 추론 모델 q(ht|ht−1, wt:T)을 사용한 변분 추론을 시행한다.
• 유연하고 계산 가능한 전이 분포를 모델링하기 위해 정규화 플로우(TRI, REAL-NVP)를 사용하여 생성 및 추론 모델 모두에 적용한다.
• 학습 안정성과 성능 향상을 위해 중요도 가중 변분 추론(IWVI)을 적용하고, K=10개의 샘플을 사용한다.
• 재구성과 사후분포의 분산을 균형 잡는 증거 하한 경계(ELBO)를 사용해 모델을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 전역적 및 국소적 불확실성의 명확한 분리가 이루어진 비자기적 스테이트 스페이스 모델은 교사 강제 없이도 고품질 텍스트를 생성할 수 있는가?
• RQ2 이러한 모델의 성능은 무조건적 단어 생성에서 표준 자동회귀 RNN과 비교해 어떻게 되는가?
• RQ3 상태 전이의 불확실성과 방출 불확실성에서의 불확실성은 시퀀스 복잡성 모델링에서 어떤 역할을 하는가?
• RQ4 정규화 플로우를 통해 보조 손실이나 냉각 없이도 깊이 있는 스테이트 스페이스 모델의 효과적인 훈련이 가능한가?
• RQ5 훈련 중 잠재 상태와 관측치 간의 상호정보량은 어떻게 변화하는가?

주요 결과

• 제안된 모델은 단어 형태학 작업에서 테스트 교차 엔트로피 11.28을 기록하여 베이스라인 RNN(12.97)을 초월하고 오라클(7.03)에 근접했다.
• K=10의 중요도 가중치를 사용할 경우 성능 향상이著명했으며, K=10 이상에서는 수익 감소 현상이 나타나, 효과적인 분산 감소가 이루어졌음을 시사했다.
• 2×TRIL 플로우와 K=10을 조합한 경우 최고의 성능(H[Ptest, ˆP] = 11.28)을 기록했으며, 강력한 생성 플로우의 필수성을 입증했다.
• 상호정보량 I(t)는 초기 시퀀스에서 정점에 도달하고 시간이 지남에 따라 감소했으며, 이는 초기 토큰이 더 많은 잠재 정보를 담고 있음을 확인했다.
• 2×TRIL 플로우와 K=10을 사용한 모델은 평균 1.28의 상호정보량을 기록하여, 잠재 상태에서 효과적인 정보 유지가 이루어졌음을 시사했다.
• 추론 모델의 성능이 이중 방향 버전과 유사했으며, 이는 d-분리 가정의 타당성과 상태 기억의 충분성을 검증했다.