[논문 리뷰] Deep Independently Recurrent Neural Network (IndRNN)

Shuai Li, Wanqing Li외 2명|arXiv (Cornell University)|2019. 10. 11.

Neural Networks and Applications참고 문헌 78인용 수 35

한 줄 요약

IndRNN은 Hadamard 곱을 통해 독립적으로 재귀 가중치를 도입하여 매우 깊은 RNN과 ReLU를 사용한 긴 시퀀스의 견고한 학습을 가능하게 합니다. 이는 전통적인 RNN, LSTM, Transformer보다 여러 작업에서 더 빠르게 작동합니다.

ABSTRACT

Recurrent neural networks (RNNs) are known to be difficult to train due to the gradient vanishing and exploding problems and thus difficult to learn long-term patterns and construct deep networks. To address these problems, this paper proposes a new type of RNNs with the recurrent connection formulated as Hadamard product, referred to as independently recurrent neural network (IndRNN), where neurons in the same layer are independent of each other and connected across layers. Due to the better behaved gradient backpropagation, IndRNN with regulated recurrent weights effectively addresses the gradient vanishing and exploding problems and thus long-term dependencies can be learned. Moreover, an IndRNN can work with non-saturated activation functions such as ReLU (rectified linear unit) and be still trained robustly. Different deeper IndRNN architectures, including the basic stacked IndRNN, residual IndRNN and densely connected IndRNN, have been investigated, all of which can be much deeper than the existing RNNs. Furthermore, IndRNN reduces the computation at each time step and can be over 10 times faster than the commonly used Long short-term memory (LSTM). Experimental results have shown that the proposed IndRNN is able to process very long sequences and construct very deep networks. Better performance has been achieved on various tasks with IndRNNs compared with the traditional RNN, LSTM and the popular Transformer.

연구 동기 및 목표

• RNN에서 그래디언트 소실 및 발산 문제를 해결하여 장기 의존성을 학습합니다.
• 안정적인 학습으로 매우 깊은 RNN 아키텍처를 가능하게 합니다.
• ReLU와 같은 비 포화 활성화 함수를 유지하면서 학습 견고성을 확보합니다.
• 레이어의 뉴런이 독립적이도록 하여 해석 가능성을 제공합니다.
• 전통적인 RNN 및 LSTM보다 속도 측면에서 계산 효율성을 향상시킵니다.

제안 방법

• 반복 입력이 u ⊙ h_{t-1}인 IndRNN을 제시하며, h_t = σ(W x_t + u ⊙ h_{t-1} + b)로 정의됩니다.
• IndRNN을 합성곱 변형 및 깊은 아키텍처(스택, 잔여 연결, Dense 연결)로 확장합니다.
• IndRNN에 대한 시점 역전파를 유도하여 그래디언트가 u^T−t와 σ′에 의존함을 보여주고 명시적 그래디언트 조절을 가능하게 합니다.
• 장기, 단기 및 무기억 다이나믹스를 제어하기 위한 메모리–재귀 가중치 관계와 초기화 범위를 설정합니다.
• ReLU, 배치 정규화, 드롭아웃과 호환되는 업데이트를 통해 매개변수 및 계산의 감소를 입증합니다.
• CUDA 최적화된 PyTorch 구현을 제공하고 LSTM, SRU, Transformer와의 다중 태스크에서 비교합니다.

실험 결과

연구 질문

• RQ1 IndRNN은 안정적인 그래디언트를 유지하면서 수천 단계에 이르는 매우 긴 시퀀스를 처리할 수 있습니까?
• RQ2 ReLU와 같은 비 포화 활성화로도 강건한 학습이 가능합니까?
• RQ3 잔여 및 Dense 연결 디자인으로 깊은 아키텍처로서의 성능은 어떠합니까?
• RQ4 IndRNN의 계산 및 매개변수 효율성은 LSTM 및 Transformer와 비교하여 어떠합니까?
• RQ5 기본 IndRNN, 잔여 IndRNN, Dense IndRNN 변형은 언어 모델링, 시퀀스 분류, 액션 인식과 같은 태스크에서 어떻게 비교됩니까?

주요 결과

• IndRNN은 5000단계가 넘는 시퀀스를 처리할 수 있으며 21계층 잔여 IndRNN과 같은 매우 깊은 아키텍처를 지원합니다.
• 재귀 가중치 u_n의 조절은 그래디언트 폭주/소실을 제어하여 ReLU로도 안정적인 학습을 가능하게 합니다.
• IndRNN은 시간당 연산을 요소별 재귀 연산으로 감소시켜 보고된 설정에서 cuDNN LSTM보다 10배 이상 빠른 속도를 달성합니다.
• IndRNN 아키텍처 변형(스택형, 잔여형, Dense 연결)은 시퀀스 MNIST, 언어 모델링, 스켈레톤 기반 액션 인식에서 성능을 향상시킵니다.
• ReLU와 적절한 조절을 가진 IndRNN은 전통적인 RNN, LSTM, Transformer와 여러 벤치마크에서 유리하게 경쟁합니다.
• 더 빠른 학습을 위한 CUDA 최적화된 오픈 소스 구현이 LSTM 기반 모델과 비교하여 제공됩니다.