[논문 리뷰] DizzyRNN: Reparameterizing Recurrent Neural Networks for Norm-Preserving Backpropagation

Victor D. Dorobantu, Per Andre Stromhaug외 1명|arXiv (Cornell University)|2016. 12. 13.

Speech Recognition and Synthesis참고 문헌 7인용 수 22

한 줄 요약

DizzyRNN는 기저 행렬 회전을 사용하여 순환 신경망을 재매aram터화하여 직교 행렬을 강제하고 절댓값 함수를 비선형성으로 사용함으로써 역전파 시 노름을 유지한다. 이 방법은 기울기 소실 및 기하급수적 증폭 문제를 제거하여 표준 RNN, 항등성 초기화 RNN, LSTM보다 더 뛰어난 성능을 보이며, 더 적은 파라미터와 계산 복잡도 증가 없이도 성능을 달성한다.

ABSTRACT

The vanishing and exploding gradient problems are well-studied obstacles that make it difficult for recurrent neural networks to learn long-term time dependencies. We propose a reparameterization of standard recurrent neural networks to update linear transformations in a provably norm-preserving way through Givens rotations. Additionally, we use the absolute value function as an element-wise non-linearity to preserve the norm of backpropagated signals over the entire network. We show that this reparameterization reduces the number of parameters and maintains the same algorithmic complexity as a standard recurrent neural network, while outperforming standard recurrent neural networks with orthogonal initializations and Long Short-Term Memory networks on the copy problem.

연구 동기 및 목표

• 장기 의존성을 학습하는 데 어려움을 겪는 순환 신경망에서 기울기 소실 및 기하급수적 증폭 문제를 해결하기 위해.
• 알고리즘 복잡도를 증가시키지 않으면서도 역전파 중 기울기 노름을 유지하는 RNN의 재매개변수화 방법을 개발하기 위해.
• 직교 행렬을 강제하고 노름을 유지하는 비선형성을 통해 장수열 작업에서 일반화 성능과 학습 안정성을 향상시키기 위해.
• 모델 표현력을 유지하면서도 증명 가능한 기울기 안정성과 함께 효율적인 RNN 학습을 가능하게 하기 위해.

제안 방법

• 기저 행렬 회전을 사용하여 표준 RNN을 재매개변수화하여, 직교성을 유지하는 방식으로 가중치 행렬을 갱신함으로써 기울기 노름을 유지한다.
• 역전파 시 신호의 노름을 유지하기 위해 원소별 비선형성으로 절댓값 함수를 사용한다.
• 직교 행렬을 각각 하나의 회전 각도에 의존하는 기저 행렬의 곱으로 표현함으로써 효율적이고 미분 가능한 갱신을 가능하게 한다.
• 특이값이 1에서 벗어나는 것을 방지하기 위해 손실 함수에 특이값 정규화 항을 도입함으로써 표현력을 제어할 수 있도록 한다.
• 행렬-벡터 곱셈을 대각 스케일링과 회전 성분을 통해 수행하며, 기울기는 체인 룰과 원소별 도함수를 사용하여 계산한다.
• 표준 RNN과 동일한 시간 및 공간 복잡도를 유지하면서도, 직교 변환과 절댓값 비선형성을 통해 기울기 노름을 유지하는 역전파를 가능하게 한다.

실험 결과

연구 질문

• RQ1 기저 행렬 회전과 절댓값 비선형성을 사용한 RNN 재매개변수화가 기울기 소실 및 기하급수적 증폭 문제를 제거할 수 있는가?
• RQ2 노름을 유지하는 역전파를 강제하면 장수열 작업(예: 복제 문제)에서 성능 향상이 이루어지는가?
• RQ3 이 방법은 표준 RNN과 동일한 계산 복잡도를 유지하면서도 더 뛰어난 학습 안정성과 정확도를 달성할 수 있는가?
• RQ4 DizzyRNN의 성능은 표준 RNN, 항등성 초기화 RNN, LSTM과 비교하여 복제 작업에서 어떻게 나타나는가?

주요 결과

• DizzyRNN는 100 에포크 미만으로 복제 문제에서 거의 완벽한 정확도를 달성하여 표준 RNN, 항등성 초기화 RNN, LSTM보다 뚜렷이 뛰어난 성능을 보였다.
• 은닉 상태 크기가 128이고 10개의 팩킹된 기저 행렬 회전을 사용한 경우, DizzyRNN는 복제 작업에서 거의 100%의 테스트 정확도를 달성했지만, 다른 모델들은 20% 이하에 머물거나 무작위 기준 이하로 개선되지 못했다.
• DizzyRNN는 90개의 타임스텝 동안 기울기 노름 안정성을 유지하여 역전파 중 신호 감쇠나 폭주를 방지했다.
• 표준 RNN보다 파라미터 수를 줄였지만 알고리즘 복잡도는 그대로 유지했다.
• 특이값 정규화를 통해 직교성에서의 허용 가능한 편차를 제어할 수 있었으며, λ=∞일 경우 엄격한 직교성을, λ=0일 경우 특이값이 무한히 커질 수 있도록 허용했다.
• 절댓값 비선형성의 사용은 역전파되는 기울기의 노름을 유지하여 안정적인 학습 동역학에 기여했다.