[논문 리뷰] Reversible Recurrent Neural Networks

Matthew Mackay, Paul Vicol외 2명|arXiv (Cornell University)|2018. 10. 25.

Neural Networks and Applications인용 수 21

한 줄 요약

이 논문은 훈련 중에 은닉 상태를 저장하는 대신 재구성함으로써 메모리 사용을 줄이는 가역적 순환 신경망(RNNs)을 제안한다. 이 방법은 정보를 손실 없이 뒤집을 수 있도록 소수의 비트를 사용하며, 이는 메모리 절감에 기여한다. 이 방법은 RNN에서 10–15배, 어텐션 기반 시퀀스-투-시퀀스 모델에서 5–15배의 메모리 절감을 달성하며, 언어 모델링 및 기계 번역 작업에서 표준 모델과 유사한 성능을 보인다.

ABSTRACT

Recurrent neural networks (RNNs) provide state-of-the-art performance in processing sequential data but are memory intensive to train, limiting the flexibility of RNN models which can be trained. Reversible RNNs---RNNs for which the hidden-to-hidden transition can be reversed---offer a path to reduce the memory requirements of training, as hidden states need not be stored and instead can be recomputed during backpropagation. We first show that perfectly reversible RNNs, which require no storage of the hidden activations, are fundamentally limited because they cannot forget information from their hidden state. We then provide a scheme for storing a small number of bits in order to allow perfect reversal with forgetting. Our method achieves comparable performance to traditional models while reducing the activation memory cost by a factor of 10--15. We extend our technique to attention-based sequence-to-sequence models, where it maintains performance while reducing activation memory cost by a factor of 5--10 in the encoder, and a factor of 10--15 in the decoder.

연구 동기 및 목표

• 역전파 중 은닉 활성화를 저장함으로써 발생하는 RNN 훈련의 높은 메모리 비용을 해결한다.
• 완전히 가역적인 RNN의 근본적인 한계, 즉 정보를 잊지 못해 기본적인 시퀀스 작업에 실패한다는 점을 극복한다.
• 메모리 효율적인 RNN 아키텍처를 개발하여, 최소한의 비트 저장을 통해 완전한 뒤집기가 가능하면서도 정보를 잊을 수 있도록 한다.
• 가역적 RNN 프레임워크를 어텐션 기반 시퀀스-투-시퀀스 모델로 확장하여, 활성화 메모리 절감을 유지하면서도 성능을 유지한다.
• 언어 모델링 및 신경 기계 번역 벤치마크에서 경쟁 가능한 성능을 보이며, 상당한 메모리 절감을 달성한다.

제안 방법

• 결합 기반 메커니즘을 사용하여 은닉 상태 간 전이를 가역적으로 만들도록 GRU와 LSTM의 가역적 변형을 설계한다.
• 정보를 잊을 수 있도록 허용하기 위해, 단위당 1–5비트의 소수의 저장 비트를 도입한다.
• RevNet에서 영감을 얻은 가역적 블록 구조를 사용하여, 역전파 중 잔차 함수를 이용해 은닉 상태를 재구성한다.
• 어텐션을 고정된 크기의 은닉 상태 부분(예: 20–60차원)과 단어 임베딩을 연결한 데에 적용하여 어텐션 기반 메커니즘의 메모리 소비를 줄인다.
• 역전파 중 전방 전환의 역함수를 사용하여 은닉 상태를 재구성함으로써 중간 활성화 상태의 저장을 피한다.
• 재구성으로 인한 산술 연산 33% 증가를 감수함으로써 메모리 절감과 계산 비용 간의 균형을 유지한다.

실험 결과

연구 질문

• RQ1 은닉 활성화를 전혀 저장하지 않는 완전히 가역적인 RNN이 과거 입력의 기억이 필요한 기본적인 시퀀스 예측 작업을 해결할 수 있는가?
• RQ2 가역적 RNN에 잊기 기능을 제공하기 위해 소수의 비트를 도입할 경우, 메모리 효율성과 모델 표현력 간의 상충 관계는 어떠한가?
• RQ3 가역적 RNN이 언어 모델링 및 신경 기계 번역 작업에서 표준 RNN과 유사한 성능을 달성할 수 있는가?
• RQ4 가역적 RNN 프레임워크를 어텐션 기반 시퀀스-투-시퀀스 모델로 확장할 수 있는가? 이때 어텐션 효과성은 유지되어야 한다.
• RQ5 가역적 아키텍처를 사용할 경우, 시퀀스-투-시퀀스 모델의 인코더 및 디코더 구성 요소에서 얼마나 많은 메모리 절감이 가능할 수 있는가?

주요 결과

• 완전히 가역적인 RNN은 정보를 잊지 못하기 때문에, 단일 단계 예측 작업에서 실패함으로써 근본적인 한계를 드러낸다.
• 단위당 1–5비트를 저장함으로써 제안된 방법은 완전한 뒤집기가 가능하면서도 정보를 잊을 수 있도록 하여, 과거 입력의 기억이 필요한 작업을 해결할 수 있도록 한다.
• Penn TreeBank 데이터셋에서, 가역적 GRU와 LSTM 모델은 표준 모델과 2–5포인트 이내의 퍼플렉서티를 달성하며, 10–15배의 메모리 절감을 이룬다.
• WikiText-2에서, 가역적 모델은 표준 모델보다 2–5포인트 높은 퍼플렉서티를 보이지만, 여전히 10–15배의 메모리 절감을 달성한다.
• 시퀀스-투-시퀀스 모델에서, 가역적 RNN은 인코더에서 5–10배, 디코더에서 10–15배의 활성화 메모리 절감을 이룬다. Multi30K 및 IWSLT 2016 벤치마크에서 경쟁 가능한 성능을 유지한다.
• 은닉 상태의 고정된 크기의 부분(예: 20–60차원)과 단어 임베딩을 연결하여 어텐션을 계산할 경우, 성능을 유지하면서도 정확도 손실 없이 메모리 효율성을 확보할 수 있다.