[논문 리뷰] Deep Temporal Sigmoid Belief Networks for Sequence Modeling

Zhe Gan, Chunyuan Li외 3명|arXiv (Cornell University)|2015. 09. 23.

Generative Adversarial Networks and Image Synthesis참고 문헌 31인용 수 40

한 줄 요약

이 논문은 고차원 데이터에서 복잡한 순차적 종속성을 모델링하기 위해 시간적 피드백과 계층적 구조를 갖춘 시그모이드 신뢰망(Sigmoid Belief Networks)을 확장한 딥 타임리얼 시그모이드 신뢰망(DTSBNs)을 제안한다. 변분 추론과 함께 인식 모델을 통합함으로써 확장 가능한 학습과 빠른 추론을 가능하게 하여, 다성분 음악, 동작 캡처, 텍스트, 정치 연설 등 다양한 분야에서 최신 기술 수준의 예측 성능을 달성하며, 다양한 일관성 있는 순차적 시퀀스를 합성한다.

ABSTRACT

Deep dynamic generative models are developed to learn sequential dependencies in time-series data. The multi-layered model is designed by constructing a hierarchy of temporal sigmoid belief networks (TSBNs), defined as a sequential stack of sigmoid belief networks (SBNs). Each SBN has a contextual hidden state, inherited from the previous SBNs in the sequence, and is used to regulate its hidden bias. Scalable learning and inference algorithms are derived by introducing a recognition model that yields fast sampling from the variational posterior. This recognition model is trained jointly with the generative model, by maximizing its variational lower bound on the log-likelihood. Experimental results on bouncing balls, polyphonic music, motion capture, and text streams show that the proposed approach achieves state-of-the-art predictive performance, and has the capacity to synthesize various sequences.

연구 동기 및 목표

• 고차원 순차 데이터의 복잡한 비선형 시간적 종속성을 포괄하는 깊이 있는 계층적 생성 모델을 개발하기 위해.
• 고차원 복잡한 동역학을 모델링하는 데 한계가 있는 HMM과 LDS의 한계를 극복하기 위해, 분산된 은닉 상태를 갖춘 깊이 있는 아키텍처를 도입하기 위해.
• 변분 하한 최적화를 통해 생성 모델과 함께 공동으로 훈련되는 인식 모델을 통해 효율적이고 확장 가능한 학습 및 추론을 가능하게 하기 위해.
• TRBM과 RNN을 일반화하여, 조건부 샘플링과 다중 모odal 데이터(이진, 실수형, 카운트)를 지원하는 완전한 생성적 확률적 프레임워크를 제공하기 위해.
• 다양한 데이터셋에서 높은 정밀도의 순차 예측과 의미 있는 순차 시뮬레이션 능력을 동시에 보여주기 위해.

제안 방법

• 모델은 각 층이 이전 층의 맥락적 은닉 상태를 상속하는 SBN 스택으로 구성된 타임리얼 시그모이드 신뢰망(TSBNs)의 깊이 있는 계층을 구성한다.
• 각 SBN은 맥락적 은닉 상태를 사용하여 은닉 유닛의 편향을 조절함으로써 시간적 맥락에 따라 동적으로 적응할 수 있도록 한다.
• 은닉 변수의 사후 분포를 근사하기 위해 인식 모델을 도입하여, 변분 추론을 통해 빠른 추론을 가능하게 한다.
• 변분 하한에 대한 로그우도의 최대화를 통해 생성 모델과 함께 인식 모델을 공동으로 훈련하며, 안정성을 높이기 위해 분산 감소 기법을 사용한다.
• 직접적인 데이터 생성을 위한 조건부 샘플링을 지원하며, 다양한 조건부 분포를 통해 이진, 실수형, 카운트 데이터 유형을 처리할 수 있다.
• 스토케스틱 및 디터미니스틱 은닉 층을 갖춘 깊이 있는 아키텍처를 통해 순차 데이터에 적용함으로써 계층적 표현 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 시간 피드백이 있는 깊이 있고 계층적인 시그모이드 신뢰망이 고차원 순차 시퀀스의 복잡한 비선형 시간적 종속성을 학습할 수 있는가?
• RQ2 계산이 불가능한 사후 분포를 가진 깊이 있는 시간적 생성 모델에서 확장 가능하고 효율적인 추론을 어떻게 달성할 수 있는가?
• RQ3 제안된 인식 모델과 변분 추론이 히우리스틱 또는 근사 방법보다 예측 정확도와 학습 효율성 측면에서 뛰어나게 성능을 발휘하는가?
• RQ4 이 모델이 이진 음악, 실수형 동작 캡처, 카운트 기반 텍스트와 같은 다양한 데이터 유형을 일반화하면서도 강력한 생성 및 예측 성능을 유지할 수 있는가?
• RQ5 이 모델이 기저의 시간적 구조와 의미적 패턴을 반영하는 일관성 있고 다양한 순차적 시퀀스를 얼마나 잘 합성할 수 있는가?

주요 결과

• DTSBN 모델은 다성분 음악 데이터셋에서 RNN-NADE와 RTRBM를 능가하는 최신 기술 수준의 예측 성능을 달성하며, 로그우도 추정치에서 뛰어난 성능을 보였다.
• JSB 콘서트 데이터셋에서 모델은 지역적 일관성과 기본적인 harmony 규칙을 갖춘 다양한 음악 시퀀스를 합성했지만, 장기적 멜로디는 여전히 도전 과제로 남아 있었다.
• 국가 연설 연설 데이터셋에서는 정밀도 향상이 두드러졌으며, 평균 정밀도(MP)와 예측 정밀도(PP)가 GP-DPFA와 DRFM를 모두 초월했다.
• 동적 토픽 모델링 결과에서 학습된 토픽 궤적은 이라크 전쟁과 제2차 세계대전과 같은 주요 역사적 사건과 대응하는 피크를 보이며 의미 있는 시간적 패턴을 나타냈다.
• 냉각된 중요도 샘플링보다 변분 하한이 진짜 우도를 더 보수적이고 신뢰할 수 있는 추정치로 제공했다.
• 다양한 깊이의 층을 추가해도 다성분 음악 데이터셋에서 성능 향상이 없었으며, 이는 이 작업에 대해 단일 층의 TSBN이 충분한 용량을 갖춘 것으로 보인다.