[논문 리뷰] Fast-Slow Recurrent Neural Networks

Asier Mujika, Florian Meier외 1명|arXiv (Cornell University)|2017. 05. 24.

Neural Networks and Applications참고 문헌 21인용 수 41

한 줄 요약

이 논문은 장기적 의존성을 효율적으로 학습하고 입력 변화에 신속하게 적응할 수 있도록 빠른 동작과 느린 동작을 하는 RNN 셀을 사용하여 다중스케일 및 딥 트랜지션 RNN을 결합한 새로운 RNN 아키텍처인 Fast-Slow 순환 신경망(FS-RNN)을 제안한다. 앙상블를 사용하여 펜 트리뱅크에서 1.19 비트/문자(BPC) 및 허터 프라이즈 위키백과에서 1.20 BPC의 최신 기록을 달성하여 기존에 알려진 압축 알고리즘보다 뛰어난 성능을 보였다.

ABSTRACT

Processing sequential data of variable length is a major challenge in a wide range of applications, such as speech recognition, language modeling, generative image modeling and machine translation. Here, we address this challenge by proposing a novel recurrent neural network (RNN) architecture, the Fast-Slow RNN (FS-RNN). The FS-RNN incorporates the strengths of both multiscale RNNs and deep transition RNNs as it processes sequential data on different timescales and learns complex transition functions from one time step to the next. We evaluate the FS-RNN on two character level language modeling data sets, Penn Treebank and Hutter Prize Wikipedia, where we improve state of the art results to $1.19$ and $1.25$ bits-per-character (BPC), respectively. In addition, an ensemble of two FS-RNNs achieves $1.20$ BPC on Hutter Prize Wikipedia outperforming the best known compression algorithm with respect to the BPC measure. We also present an empirical investigation of the learning and network dynamics of the FS-RNN, which explains the improved performance compared to other RNN architectures. Our approach is general as any kind of RNN cell is a possible building block for the FS-RNN architecture, and thus can be flexibly applied to different tasks.

연구 동기 및 목표

• 변동 길이의 순차 데이터와 장기적 의존성을 모델링하는 데 도전하는 것.
• 다중스케일 및 딥 트랜지션 RNN의 장점을 통합하여 기존 RNN 아키텍처를 향상시키는 것.
• 복잡한 전이 함수를 효율적으로 학습하면서도 계산 효율성을 유지하는 것.
• 어떤 RNN 셀 유형이든 빌딩 블록으로 사용할 수 있는 일반화 가능한 프레임워크를 제공하는 것.
• 아키텍처가 장기적 의존성을 저장하고 예기치 않은 입력에 신속하게 적응할 수 있는지 경험적으로 검증하는 것.

제안 방법

• FS-RNN 아키텍처는 하위층에 두 개의 빠른 RNN 셀과 상위층에 하나의 느린 RNN 셀을 사용하며, 느린 셀은 덜 자주 업데이트된다.
• 빠른 셀은 높은 주파수로 입력을 처리하여 단기적 입력 변화에 신속히 적응할 수 있다.
• 느린 셀은 더粗한 시간 스케일에서 작동하여 안정적인 은닉 상태를 통해 장기적 의존성을 저장하고 전파한다.
• 이 아키텍처는 일반적이며, LSTMs나 GRUs와 같은 어떤 RNN 셀 유형으로도 구현할 수 있다.
• 학습에는 표준 백프로파게이션 스루 타임을 사용하며, 기울기 흐름 분석을 통해 장기 기억 유지 능력을 검증한다.
• Penn Treebank 및 Hutter Prize Wikipedia 데이터셋을 사용한 문자 수준 언어 모델링 작업에서 네트워크를 평가한다.

실험 결과

연구 질문

• RQ1 빠른 동작과 느린 동작을 가진 하이브리드 RNN 아키텍처가 순차 모델링에서 장기적 의존성 학습을 향상시킬 수 있는가?
• RQ2 FS-RNN은 스택드-LSTM 및 순차-LSTM과 비교해 기울기 흐름과 장기 기억 유지 능력 측면에서 어떻게 다른가?
• RQ3 빠른 층은 예기치 않은 또는 고엔트로피 입력(예: 단어의 첫 번째 문자)에 더 신속하게 적응할 수 있는가?
• RQ4 FS-RNN은 최신 기술 모델 및 알려진 압축 알고리즘보다 더 나은 비트/문자(BPC) 성능을 달성할 수 있는가?
• RQ5 이 아키텍처의 설계는 순차적 정보의 계층적 표현을 유지하면서도 효율적인 학습과 추론을 지원하는가?

주요 결과

• FS-RNN는 펜 트리뱅크 데이터셋에서 1.19 비트/문자(BPC)의 새로운 최고 기록을 달성했다.
• 두 개의 FS-RNN 앙상블은 허터 프라이즈 위키백과 데이터셋에서 1.20 BPC를 기록하여 기존에 알려진 최고의 압축 알고리즘을 초월했다.
• 느린 RNN 셀은 시간 t-k의 셀 상태에서 시간 t의 손실까지의 기울기 크기가 가장 컸으며, 이는 강력한 장기적 의존성 학습 능력을 시사한다.
• 빠른 RNN 셀은 시간이 지남에 따라 상태 변화가 최소였으며, 이는 단기 정보만 저장하고 새로운 입력에 신속히 적응한다는 것을 의미한다.
• 순차-LSTM는 시간이 지남에 따라 기울기 감쇠가 가장 심했으며, 이는 FS-RNN 및 스택드-LSTM에 비해 떨어지는 장기 기억 성능을 의미한다.
• 첫 번째 문자 이후의 다음 문자 예측에서 FS-RNN은 스택드-LSTM 및 순차-LSTM을 모두 압도하여 예기치 않은 입력에 대한 더 뛰어난 적응 능력을 보였다.