[논문 리뷰] Parallelizing Linear Recurrent Neural Nets Over Sequence Length.

Éric Martin, Chris Cundy|arXiv (Cornell University)|2018. 02. 15.

Neural Networks and Applications인용 수 12

한 줄 요약

이 논문은 선형 순차적 의존성에 기반한 RNN 학습을 가능하게 하여 시퀀스 길이에 따라 선형적으로 증가하는 의존성 구조를 갖는 RNN의 학습 및 추론 속도를 최대 9배 향상시키는 병렬 스캔 알고리즘을 제안한다. 또한 기존 표준 RNN으로는 이전에 불가능했던 최대 100만 개 타임스텝까지의 시퀀스 학습이 가능한 선형 대체 모델인 GILR-LSTM을 도입한다.

ABSTRACT

Recurrent neural networks (RNNs) are widely used to model sequential data but their non-linear dependencies between sequence elements prevent parallelizing training over sequence length. We show the training of RNNs with only linear sequential dependencies can be parallelized over the sequence length using the parallel scan algorithm, leading to rapid training on long sequences even with small minibatch size. We develop a parallel linear recurrence CUDA kernel and show that it can be applied to immediately speed up training and inference of several state of the art RNN architectures by up to 9x. We abstract recent work on linear RNNs into a new framework of linear surrogate RNNs and develop a linear surrogate model for the long short-term memory unit, the GILR-LSTM, that utilizes parallel linear recurrence. We extend sequence learning to new extremely long sequence regimes that were previously out of reach by successfully training a GILR-LSTM on a synthetic sequence classification task with a one million timestep dependency.

연구 동기 및 목표

• 비선형 의존성으로 인해 기존 RNN의 시퀀스 길이에 따른 학습 병렬화가 어려운 근본적 한계를 해결한다.
• 이전에는 계산적으로 불가능했던 초장수열에서의 효율적 학습 및 추론을 가능하게 한다.
• 표준 RNN의 표현 능력을 유지하면서도 병렬화가 가능한 선형 대체 RNN 프레임워크를 개발한다.
• 새로운 GILR-LSTM 아키텍처를 통해 시퀀스 모델링의 실용적 적용 범위를 100만 타임스텝 수준으로 확장한다.

제안 방법

• 비선형 의존성이 없는 RNN에 병렬 스캔 알고리즘을 적용하여 시퀀스 길이에 따라 데이터 병렬 학습이 가능하도록 한다.
• 병렬 선형 재귀를 효율적으로 계산하기 위해 CUDA 커널을 구현하여 타임스텝 간 병렬로 은닉 상태를 계산한다.
• 최근의 선형 RNN 연구를 일반화하여 선형 대체 RNN의 일반 프레임워크로 정의함으로써 모듈식으로 선형화된 RNN 유닛을 설계할 수 있도록 한다.
• 병렬 선형 재귀를 활용하여 장기 의존성 모델링을 유지하는 병렬 스캔 기반의 LSTM 유닛 대체 모델인 GILR-LSTM을 설계한다.
• GILR-LSTM의 학습 및 추론 과정에서 병렬 스캔 커널을 활용하여 계산 시간을 크게 감소시킨다.
• 스케일러비리티를 검증하기 위해 100만 타임스텝의 합성 시퀀스 분류 작업에서 GILR-LSTM을 학습시킨다.

실험 결과

연구 질문

• RQ1 선형 의존성이 있는 RNN 학습을 시퀀스 길이에 따라 병렬화하여 장수열에서의 빠른 학습을 가능하게 할 수 있는가?
• RQ2 병렬 스캔 알고리즘이 최신 RNN 아키텍처의 학습 및 추론을 얼마나 가속화할 수 있는가?
• RQ3 GILR-LSTM과 같은 선형 대체 모델이 병렬화를 가능하게 하면서도 장수열에서의 성능을 유지할 수 있는가?
• RQ4 선형 재귀 기반 접근법을 사용하여 100만 타임스텝 수준의 시퀀스에서 RNN 학습이 실제로 가능한가?

주요 결과

• 병렬 스캔 알고리즘은 의존성이 선형인 경우 시퀀스 길이에 따라 RNN 학습의 완전한 데이터 병렬화를 가능하게 한다.
• 제안된 CUDA 커널은 여러 최신 RNN 아키텍처에서 학습 및 추론 과정에서 최대 9배의 속도 향상을 달성한다.
• GILR-LSTM 모델은 100만 타임스텝의 합성 시퀀스 분류 작업에서 장거리 의존성을 성공적으로 학습한다.
• 선형 대체 프레임워크는 이전 실용적 한계를 훨씬 초월한 긴 시퀀스에서도 효율적이고 확장 가능한 RNN 학습을 가능하게 한다.