[논문 리뷰] Efficient Orthogonal Parametrisation of Recurrent Neural Networks Using Householder Reflections

Zakaria Mhammedi, Andrew Hellicar외 2명|arXiv (Cornell University)|2016. 12. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 12인용 수 32

한 줄 요약

이 논문은 기울기 폭주를 방지하기 위해 전이 행렬의 직교성을 보장하는 데 Householder 반사법을 사용하는 새로운 효율적인 파arametrization을 제안한다. 이 방법은 표준 RNN과 유사한 시간 복잡도를 가지며, 낮은 배치 크기 설정에서 이전의 직교 파arametrization보다 뛰어난 성능을 보이며, 문자 수준의 언어 모델링 및 시퀀스 복사 작업에서 최신 기술 수준의 성능을 달성하거나 초월한다.

ABSTRACT

The problem of learning long-term dependencies in sequences using Recurrent Neural Networks (RNNs) is still a major challenge. Recent methods have been suggested to solve this problem by constraining the transition matrix to be unitary during training which ensures that its norm is equal to one and prevents exploding gradients. These methods either have limited expressiveness or scale poorly with the size of the network when compared with the simple RNN case, especially when using stochastic gradient descent with a small mini-batch size. Our contributions are as follows; we first show that constraining the transition matrix to be unitary is a special case of an orthogonal constraint. Then we present a new parametrisation of the transition matrix which allows efficient training of an RNN while ensuring that the matrix is always orthogonal. Our results show that the orthogonal constraint on the transition matrix applied through our parametrisation gives similar benefits to the unitary constraint, without the time complexity limitations.

연구 동기 및 목표

• 시계열 데이터에서 장기 의존성을 학습할 때 발생하는 소실 및 기울기 폭주 문제를 해결한다.
• 기존의 직교 및 유니터리 RNN 파arametrization의 한계를 극복한다. 이는 높은 계산 비용이나 제한된 표현력으로 인해 발생한다.
• 최소한의 계산 오버헤드로 RNN 전이 행렬에 직교성을 강제하는 파arametrization을 개발한다. 특히 작은 미니배치 크기에서 유리하다.
• Householder 반사법을 통한 직교 제약 조건이 유니터리 RNN의 성능을 따라하거나 초월할 수 있음을 입증한다. 이는 더 넓은 스케일링과 효율성으로 이어진다.

제안 방법

• RNN 전이 행렬을 Householder 반사의 곱으로 파arametr리제이션하여, 구성에 의해 항상 직교성을 유지한다.
• 학습 가능한 파aram터로 반사 벡터의 집합을 사용하여, 기울기 기반 최적화를 가능하게 하면서도 직교성을 유지한다.
• Householder 파aram터에 대한 정확한 역전파 공식을 유도하여 엔드 투 엔드 학습을 가능하게 한다.
• 각 스텝에서 O(n²) 시간 복잡도로 기울기 업데이트를 효율적으로 계산하는 알고리즘을 설계하여, 표준 RNN과 동일한 복잡도를 확보한다.
• 제안된 파arametrization을 문자 수준의 언어 모델링 및 시퀀스 복사 작업에 적용하여, LSTM 및 유니터리 RNN 기준선과 비교한다.
• 장기 기억이 필요한 작업에서 성능을 향상시키기 위해 U 활성화 함수(노름 보존)를 사용한다. 특히 잔차 연결이 없는 경우에 유리하다.

실험 결과

연구 질문

• RQ1 Householder 반사법을 통한 직교 파arametrization은 표준 RNN과 유사한 시간 복잡도로 RNN의 안정적 학습을 달성할 수 있는가?
• RQ2 제안된 직교 RNN(oRNN)의 성능은 장기 의존성 작업에서 유니터리 RNN 및 LSTM과 비교해 어떻게 되는가?
• RQ3 작은 미니배치 SGD 설정에서 기존 방법에 비해 Householder 기반 파arametrization은 더 잘 스케일링되는가?
• RQ4 장거리 의존성을 학습할 때 활성화 함수의 영향은 oRNN 성능에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 직교 가중치 행렬이 필요한 다른 딥 러닝 아키텍처로 일반화될 수 있는가?

주요 결과

• 제안된 oRNN은 펜 트리뱅크의 1단계 예측 작업에서 테스트 교차 엔트로피 1.68 bpc를 기록하여 유사한 파aram터 수를 가진 LSTM과 동일한 성능을 달성했다.
• 5단계 앞서 예측하는 작업에서는 oRNN이 3.85 bpc를 기록했으며, Pascanu 등(2013)이 보고한 최신 기술 수준의 3.74 bpc와 유사한 성능을 보였다.
• oRNN은 Vorontsov 등(2017)이 제안한 소프트 및 하드 직교 제약 조건을 사용한 이전 연구보다 뛰어난 성능을 보였으며, 데이터의 일부에서 최소 테스트 비용 2.20 bpc를 기록했다.
• oRNN의 기울기 단계당 시간 복잡도는 O(n²)이며, 표준 RNN과 동일하며, 작은 미니배치 조건에서 O(BTn² + n³)로 증가하는 다른 직교 방법보다 크게 향상되었다.
• U 활성화 함수를 사용할 경우 oRNN은 복사 작업에서 경쟁적인 성능을 보였지만, ReLU 유사 활성화 함수를 사용한 유니터리 RNN보다는 성능이 열 劣했다. 이는 아키텍처적 차이가 중요하다는 것을 시사한다.
• 기타 직교 파arametrization이 작은 미니배치 크기(예: B=1)에서 계산 비용이 급격히 증가하여 계산적으로 비효율적이 되는 것과는 달리, 이 방법은 효율적인 학습을 가능하게 한다.