[논문 리뷰] Predictive State Recurrent Neural Networks

Carlton Downey, Ahmed Hefny외 3명|arXiv (Cornell University)|2017. 05. 25.

Model Reduction and Neural Networks참고 문헌 24인용 수 15

한 줄 요약

이 논문은 예측 상태 표현(PSRs)의 통계적 엄밀성과 순환 신경망(RNNs)의 표현 능력을 융합한 하이브리드 모델인 예측 상태 순환 신경망(PSRNNs)을 소개한다. 이중 함수를 통한 상태 전이 모델링과 이중 회귀(2SR) 초기화를 통해 유도된 이중 함수 기반 바이너리 상태 전이를 통해 PSRNNs는 네 개의 데이터셋에서 LSTMs와 GRUs를 능가하는 뛰어난 성능을 달성하며, 텐서 분해를 통한 효율적 인화도 가능하다.

ABSTRACT

We present a new model, Predictive State Recurrent Neural Networks (PSRNNs), for filtering and prediction in dynamical systems. PSRNNs draw on insights from both Recurrent Neural Networks (RNNs) and Predictive State Representations (PSRs), and inherit advantages from both types of models. Like many successful RNN architectures, PSRNNs use (potentially deeply composed) bilinear transfer functions to combine information from multiple sources. We show that such bilinear functions arise naturally from state updates in Bayes filters like PSRs, in which observations can be viewed as gating belief states. We also show that PSRNNs can be learned effectively by combining Backpropogation Through Time (BPTT) with an initialization derived from a statistically consistent learning algorithm for PSRs called two-stage regression (2SR). Finally, we show that PSRNNs can be factorized using tensor decomposition, reducing model size and suggesting interesting connections to existing multiplicative architectures such as LSTMs. We applied PSRNNs to 4 datasets, and showed that we outperform several popular alternative approaches to modeling dynamical systems in all cases.

연구 동기 및 목표

• RNN의 학습 안정성 부족과 통계적 일致성 부족 문제를 해결하기 위해 원리적인 확률 초기화를 통합한다.
• 기존 베이즈 필터의 기능적 단순성 문제를 극복하기 위해 RNN 스타일 아키텍처를 통해 풍부한 비선형 표현을 가능하게 한다.
• PSRs의 통계적 일치성과 딥 RNN의 표현 능력을 모두 갖춘 모델을 개발한다.
• PSRNN의 텐서 분해를 통해 효율적인 모델 압축과 아키텍처 해석을 가능하게 한다.
• PSRNN이 다양한 시계열 모델링 벤치마크에서 기존 모델을 능가함을 입증한다.

제안 방법

• PSRNNs는 3모드 텐서를 사용하여 이중 함수 상태 전이를 모델링하며, 은닉 상태와 관측값을 텐서 곱으로 결합한 후 나눗셈 정규화를 수행한다.
• 모델은 이중 회귀(2SR)에서 유도된 초기화를 사용한 백프로파게이션 투 타임(BPTT)으로 학습된다. 2SR은 PSRs를 위한 모멘트 방법 알고리즘이다.
• PSRNNs의 이중 함수 구조는 PSRs와 베이즈 필터에서 관측 기반 신뢰도 상태 업데이트의 게이팅 해석에서 자연스럽게 유도된다.
• 인화된 PSRNNs는 CP 텐서 분해를 통해 구성되며, 모델 크기를 감소시키고 유연한 파rameter 제어를 가능하게 한다.
• 이 아키텍처는 게이팅 메커니즘으로 해석 가능하며, 커널 베이즈 규칙과 LSTMs의 곱셈 유닛과 공식적으로 연결되어 있다.
• 이 모델은 이산(Penn Treebank) 및 연속(Swimmer, Mocap, Handwriting) 시계열 데이터셋에 적용되었으며, 일관된 성능 향상이 관찰되었다.

실험 결과

연구 질문

• RQ1 PSRs의 통계적 일치성과 RNN의 표현 능력을 융합한 하이브리드 모델이 시계열 모델링 과제에서 더 뛰어난 성능을 달성할 수 있는가?
• RQ2 이중 회귀(2SR)와 같은 통계적으로 일치하는 모멘트 방법 알고리즘으로 RNN 유사 아키텍처를 초기화하면 학습 안정성과 최종 성능이 크게 향상되는가?
• RQ3 PSRNNs의 이중 함수 구조가 텐서 분해를 통해 인화되어 성능을 유지하면서 모델 크기를 줄일 수 있는가?
• RQ4 PSRNNs가 LSTMs와 GRUs와 같은 기존 아키텍처와 비교해 다양한 데이터셋에서 예측 정확도와 일반화 능력 측면에서 어떻게 성능을 내는가?
• RQ5 초기화가 PSRNNs의 최적화 표면과 최종 모델 행동에 어떤 영향을 미치는가?

주요 결과

• 랭크 40의 인화된 PSRNNs는 파arameter 수가 적음에도 불구하고 펜 트리뱅크(PTB) 데이터셋에서 LSTMs와 GRUs를 모두 능가한다.
• 파라미터 수가 유사한 경우, 인화된 PSRNNs보다 일반 PSRNNs가 더 높은 랭크의 인화된 PSRNNs보다 성능이 뛰어나며, 선형 파라미터화로 인한 더 단순한 최적화 표면을 시사한다.
• PSRNNs에 두 번째 레이어를 추가하면 PTB에서 성능이 크게 향상되어 깊이가 아키텍처에 유리한 영향을 미친다는 것을 입증한다.
• Swimmer, Mocap, Handwriting 데이터셋에서 PSRNNs는 MSE와 예측 정확도 측면에서 KF, RNN, GRU, LSTM을 모두 일관되게 능가한다.
• 2SR 초기화가 필수적이다: 무작위 초기화는 BPTT에서 실패를 초래하지만, 2SR 초기화는 효과적인 학습을 가능하게 하고 의미 있는 초기 동역학을 유지한다.
• 낮은 랭크의 인화된 PSRNNs(예: 랭크 40)조차도 뛰어난 성능을 달성하여, 파라미터 사용의 강건성과 효율성을 시사한다.