[논문 리뷰] Quasi-Recurrent Neural Networks

James Bradbury, Stephen Merity외 2명|arXiv (Cornell University)|2016. 11. 05.

Topic Modeling참고 문헌 27인용 수 326

한 줄 요약

QRNNs는 병렬 합성곱 계산과 경량 순환 풀링을 결합하여 시퀀스를 모델링하고, 언어 작업에서 LSTM보다 더 빠른 학습/추론과 경쟁력 있거나 더 나은 정확도를 제공합니다.

ABSTRACT

Recurrent neural networks are a powerful tool for modeling sequential data, but the dependence of each timestep's computation on the previous timestep's output limits parallelism and makes RNNs unwieldy for very long sequences. We introduce quasi-recurrent neural networks (QRNNs), an approach to neural sequence modeling that alternates convolutional layers, which apply in parallel across timesteps, and a minimalist recurrent pooling function that applies in parallel across channels. Despite lacking trainable recurrent layers, stacked QRNNs have better predictive accuracy than stacked LSTMs of the same hidden size. Due to their increased parallelism, they are up to 16 times faster at train and test time. Experiments on language modeling, sentiment classification, and character-level neural machine translation demonstrate these advantages and underline the viability of QRNNs as a basic building block for a variety of sequence tasks.

연구 동기 및 목표

• 길고 긴 시퀀스에 대한 전통 RNN의 제한된 병렬성에 대해 동기를 부여하고 해결한다.
• 최소한의 풀링 메커니즘으로 교대로 배치된 합성곱 층을 갖는 QRNN 아키텍처를 제안한다.
• 다양한 작업에서 속도를 크게 높이면서 QRNN가 LSTMs와 동등하거나 더 나은 정확도를 달성함을 보여준다.
• Dense 연결, 주의(attention), 인코더–디코더 구조와 같은 변형 및 확장을 탐구한다.
• 감정 분석, 언어 모델링, 문자 단위 기계 번역에서 실증적 이점을 보여준다.

제안 방법

• 마스킹된 합성곱을 통해 Z, F, O를 생성하는 합성곱 구성요소로 QRNN 층을 나타낸다: Z = tanh(W_z * X), F = sigmoid(W_f * X), O = sigmoid(W_o * X).
• 게이트(f, o, i)에 의해 제어되는 매개변수 없는 풀링 함수를 사용하여 채널별 병렬성으로 시간 스텝 간 상태를 전달한다.
• 용량을 증가시키고 더 깊은 모델을 가능하게 하기 위해 다수의 QRNN 층을 쌓는다.
• 정규화(풀링 게이트의 zoneout), DenseNet 유사한 스킵 연결 등의 밀집 연결과 seq2seq 작업을 위한 인코더–디코더 어텐션으로 확장한다.
• 인코더 상태를 디코더 QRNN 게이트에 주입하고 컨텍스트로 주의를 사용하는 인코더–디코더 수정사항을 포함한다.
• 채널 간 풀링 다이나믹스를 제어하기 위해 f-pooling, fo-pooling, ifo-pooling 같은 변형을 활용한다.

실험 결과

연구 질문

• RQ1 QRNN가 시퀀스 순서를 손상시키지 않으면서 시간 축 및 채널 간의 병렬 계산을 제공할 수 있는가?
• RQ2 언어 모델링, 감정 분석, 번역에서 정확도 측면에서 QRNN가 LSTMs와 어떻게 비교되는가?
• RQ3 Dense 연결, 어텐션, 인코더–디코더 구성과 같은 아키텍처 확장이 시퀀스 작업에서 QRNN 성능을 향상시키는가?
• RQ4 데이터셋과 시퀀스 길이에 걸친 학습 및 추론에서 최적화된 LSTM 대비 QRNN의 속도 향상은 어느 정도인가?

주요 결과

• QRNN은 IMDb 감정 분류, Penn Treebank 언어 모델링, 문자 수준 독일어–영어 번역에서 동일한 은닉 크기의 LSTM보다 성능이 우수하다.
• QRNN은 더 높은 병렬성으로 인해 일부 설정에서 학습 및 테스트 시 최대 16배의 속도 향상을 제공한다.
• IMDb에서 Dense하게 연결된 4-layer QRNN은 256 유닛으로 구성된 4층에서 91.4%의 테스트 정확도를 달성한다.
• PTB 언어 모델링에서 QRNN(중간) 은 LSTMs와 경쟁력 있는 perplexity를 달성하며 특히 zoneout 정규화와 함께 그렇다.
• IWSLT 독일어–영어 번역을 위한 문자 수준 QRNN은 1.0 시간/에포크의 훈련 시간으로 BLEU 19.41를 산출하며 유사한 크기의 문자-LSTM보다 우수하다.
• QRNN은 독립적인 채널 풀링으로 인해 채널별 상태를 해석 가능하게 유지하여 분석 및 디버깅에 도움을 준다.