[논문 리뷰] Orthogonal Recurrent Neural Networks with Scaled Cayley Transform

Kyle Helfrich, Devin Willmott외 1명|arXiv (Cornell University)|2017. 07. 29.

Neural Networks and Applications참고 문헌 17인용 수 15

한 줄 요약

이 논문은 스케일드 케일리 직교 순환 신경망(scoRNN)을 제안한다. 이는 스케일드 케일리 변환를 사용하여 반대칭 행렬을 매개변수화함으로써 직교 순환 가중치 행렬을 유지하는 실수값 RNN이다. 표준 케일리 변환의 고유값 특이점 문제를 해결함으로써, scoRNN은 안정적이고 효율적인 학습을 가능하게 하며, 다른 유니터리 RNN보다 더 적은 파라미터로 순차적 작업에서 최고 성능을 달성한다.

ABSTRACT

Recurrent Neural Networks (RNNs) are designed to handle sequential data but suffer from vanishing or exploding gradients. Recent work on Unitary Recurrent Neural Networks (uRNNs) have been used to address this issue and in some cases, exceed the capabilities of Long Short-Term Memory networks (LSTMs). We propose a simpler and novel update scheme to maintain orthogonal recurrent weight matrices without using complex valued matrices. This is done by parametrizing with a skew-symmetric matrix using the Cayley transform. Such a parametrization is unable to represent matrices with negative one eigenvalues, but this limitation is overcome by scaling the recurrent weight matrix by a diagonal matrix consisting of ones and negative ones. The proposed training scheme involves a straightforward gradient calculation and update step. In several experiments, the proposed scaled Cayley orthogonal recurrent neural network (scoRNN) achieves superior results with fewer trainable parameters than other unitary RNNs.

연구 동기 및 목표

• 장기 의존성을 학습하는 데 제약을 주는 순환 신경망(RNN)에서의 기울기 소실 및 기울기 폭발 문제를 해결하기 위해.
• 복소수값 유니터리 RNN의 복잡한 매개변수 공간이나 제약 최적화를 피한 간단한 실수값 대체 방법을 개발하기 위해.
• 표준 케일리 변환는 고유값 -1을 표현할 수 없어 발생하는 한계를 극복하기 위해.
• 수치 계산에서 직교성을 유지하는 간단한 기울기 업데이트 규칙을 통해 안정적이고 효율적인 학습을 가능하게 하기 위해.
• 모델 복잡도를 줄이며 순차적 학습 작업에서 최고 성능을 달성하기 위해.

제안 방법

• 스케일드 케일리 변환를 통해 반대칭 행렬 A를 사용하여 순환 가중치 행렬 W를 매개변수화한다: W = (I - sA)(I + sA)^{-1}, 여기서 s는 ±1 원소를 가진 대각 스케일링 행렬이다.
• 표준 케일리 변환에서 발생하는 고유값 -1에서의 특이점을 피하기 위해 스케일드 케일리 변환를 사용한다.
• 각 학습 단계에서 W를 A에서 재구성함으로써, 반대칭 행렬 A에 직접 기울기 하강법을 적용한다.
• 역전파 중에 A에 단순한 덧셈 업데이트 규칙을 적용하여, 학습 전반에 걸쳐 W가 직교성을 유지하도록 보장한다.
• 표준 RNN 아키텍처를 사용하되, 복소수 행렬이나 제약 최적화를 사용하지 않고 매개변수화를 통해 직교성을 강제한다.
• 각 전방향 계산 단계에서 A를 사용해 W를 계산함으로써, 표준 역전파 시간 기반의 엔드 투 엔드 학습을 수행한다.

실험 결과

연구 질문

• RQ1 복소수나 제약된 매개변수 공간을 사용하지 않고도 실수값 RNN이 직교 순환 가중치 행렬을 유지할 수 있는가?
• RQ2 스케일드 케일리 변환는 표준 케일리 변환의 고유값 -1 특이점을 효과적으로 피할 수 있는가?
• RQ3 반대칭 행렬에 대한 단순한 덧셈 업데이트 규칙이 수치 반올림 오차가 존재하는 환경에서도 직교성을 유지할 수 있는가?
• RQ4 결과적으로 얻어진 scoRNN은 다른 유니터리 또는 직교 RNN보다 더 적은 파라미터로 더 뛰어난 순차적 작업 성능을 달성할 수 있는가?
• RQ5 긴 시퀀스에서 scoRNN의 기울기 흐름은 표준 RNN 및 LSTM과 비교해 기울기 소실/폭발 문제 측면에서 어떻게 다를까?

주요 결과

• scoRNN 모델은 다른 유니터리 RNN보다 더 적은 학습 가능한 파라미터로 여러 순차적 학습 작업에서 뛰어난 성능을 달성한다. 특히 추가 문제와 순서가 그대로인 MNIST에서 성능이 뛰어나다.
• T=500인 추가 문제에서, scoRNN의 기울기는 전체 시퀀스 동안 10^{-3}에서 10^{-4}로 감소하여 1개 정도의 주기 수준으로만 감소하는 반면, LSTM의 기울기는 훨씬 더 크게 감소한다.
• n=170 은닉 유닛을 가진 scoRNN은 제한된 용량의 uRNN(n=512)보다 약 1.5배 빠르며, 전체 용량의 uRNN(n=116)보다는 2배 빠르다. 이는 유사한 파라미터 수를 가짐에도 불구하고 성능이 뛰어나다.
• ~137,000개의 파라미터를 가진 모델에서 scoRNN은 1에포크당 11.2분이 소요되며, 전체 용량의 uRNN는 25.8분이 소요되어 뚜렷한 속도 우위를 보인다.
• 모든 실험에서 scoRNN은 매끄럽고 안정적인 수렴 곡선을 보이며, 강력한 학습 동역학을 나타낸다.
• 긴 시퀀스 동안 scoRNN은 안정적인 기울기 노름을 유지하여 기울기 소실 및 폭발 문제를 효과적으로 완화함을 확인한다.