[논문 리뷰] Towards Non-saturating Recurrent Units for Modelling Long-term Dependencies

Sarath Chandar, Chinnadhurai Sankar외 3명|arXiv (Cornell University)|2019. 01. 22.

Advanced Neural Network Applications참고 문헌 31인용 수 4

한 줄 요약

이 논문은 기울기 흐름을 향상시키기 위해 포화하는 활성화 함수와 게이트를 비포화하는 ReLU 기반 구성 요소로 대체하는 새로운 순환 아키텍처인 비포화 순환 유닛(NRU)을 제안한다. NRU는 순환 신경망의 장기적 의존성 작업에서 SOTA 성능을 달성하여, permuted MNIST 및 메모리 복제 작업을 포함한 여러 벤치마크에서 LSTM, GRU 및 기타 RNN 변종을 능가한다.

ABSTRACT

Modelling long-term dependencies is a challenge for recurrent neural networks. This is primarily due to the fact that gradients vanish during training, as the sequence length increases. Gradients can be attenuated by transition operators and are attenuated or dropped by activation functions. Canonical architectures like LSTM alleviate this issue by skipping information through a memory mechanism. We propose a new recurrent architecture (Non-saturating Recurrent Unit; NRU) that relies on a memory mechanism but forgoes both saturating activation functions and saturating gates, in order to further alleviate vanishing gradients. In a series of synthetic and real world tasks, we demonstrate that the proposed model is the only model that performs among the top 2 models across all tasks with and without long-term dependencies, when compared against a range of other architectures.

연구 동기 및 목표

• 장기적 의존성을 학습하는 데 장애가 되는 순환 신경망의 기울기 소실 문제를 해결한다.
• LSTM과 GRU의 포화하는 활성화 함수(예: 시그모이드, 하이퍼볼릭 탄젠트)와 포화하는 게이트의 한계를 극복한다. 이는 시간이 지남에 따라 기울기가 감쇠되기 때문이다.
• 기울기 포화를 피함으로써 장기간의 시퀀스 동안 안정적인 기울기 흐름을 유지할 수 있는 새로운 순환 유닛 아키텍처를 개발한다.
• 비포화 구성 요소가 장기적 및 단기적 의존성 작업 양쪽에서 기존의 게이팅 RNN보다 우수한 성능을 낼 수 있음을 입증한다.
• 비포화 및 메모리 증강 아키텍처를 도입함으로써 일반 목적의 RNN을 위한 새로운 기준을 설정한다.

제안 방법

• 시그모이드나 하이퍼볼릭 탄젠트와 같은 포화하는 비선형성 대신 ReLU 활성화 함수를 사용하는 새로운 순환 유닛(NRU)을 제안한다.
• LSTM과 GRU와 유사한 덧셈 기반 메모리 메커니즘을 구현하여 전이 연산자를 우회하고 기울기 감쇠를 줄인다.
• 기울기 포화를 일으키지 않는 비포화, 학습 가능한 게이팅 메커니즘으로 포화하는 게이트를 대체한다. 이는 극단적인 값에서 기울기 크기를 유지한다.
• 기울기 클리핑을 사용하여 표준 백프로파게이션으로 훈련하며, 기울기 폭발을 방지한다. 이때 안정적인 훈련을 위해 비포화 구성 요소에 의존한다.
• 입력과 은닉 상태를 덧셈 경로를 통해 조합하는 메모리 상태 업데이트 규칙을 사용한다. 이는 GRU와 LSTM와 유사하지만, 비포화 비선형성을 적용한다.
• 합성 작업(예: 메모리 복제, 순차적 MNIST)과 실제 벤치마크에서 NRU를 평가하여 기울기 흐름, 수렴 속도, 정확도를 비교한다.

실험 결과

연구 질문

• RQ1 포화하는 활성화 함수와 게이트를 비포화 대체품으로 교체하면 순환 네트워크의 기울기 흐름이 향상되는가?
• RQ2 비포화 게이팅 순환 유닛(NRU)은 장기적 의존성 작업에서 표준 LSTM과 GRU를 능가하는가?
• RQ3 장기간의 시퀀스에서 다른 RNN 변종과 비교해 NRU의 수렴 속도와 훈련 안정성은 어떠한가?
• RQ4 NRU는 장기적 및 단기적 의존성 문제를 포함한 다양한 작업에서 높은 성능을 유지할 수 있는가?
• RQ5 비포화 구성 요소는 순환 네트워크의 기울기 노름과 메모리 유지력에 어떤 영향을 미치는가?

주요 결과

• NRU는 순차적 permuted MNIST 작업에서 95.38%의 최고 테스트 정확도를 기록하여, EURNN(94.50%)과 GRU(92.39%)를 포함한 모든 모델를 능가했다.
• NRU는 기울기 흐름이 뛰어나, 초기 훈련 단계에서 LSTM-Chrono와 JANET보다 유의미하게 높은 기울기 노름을 보이며 더 나은 신호 전파를 나타냈다.
• 특히 메모리 크기가 크면(예: 144 단위), RNN-orth와 RNN-id보다 수렴 속도가 빠르고 더 안정적이었으며, 64 단위일 때보다 거의 두 배 빠르게 수렴했다.
• 장기간의 시퀀스(T = 1000–2000)에서도 NRU는 기울기 피크가 있음에도 불구하고 발산 없이 안정적인 훈련을 유지했으며, 장기적 의존성에 대한 강건성을 보였다.
• 증가하는 시퀀스 길이(T = 100, 200, 500)를 가진 메모리 복제 작업에서 NRU는 안정적인 훈련과 정확한 메모리 유지 능력을 보였으며, 효과적인 장기 정보 저장이 가능함을 시사했다.
• NRU는 표준 LSTM보다 일관된 향상이 없었던 LSTM-chrono를 능가했으며, 이는 비포화 구성 요소가 존재할 경우 코히-초기화가 항상 성능 향상을 보장하지는 않음을 시사한다.