[논문 리뷰] Full-Capacity Unitary Recurrent Neural Networks

Scott Wisdom, Thomas A. Powers외 3명|arXiv (Cornell University)|2016. 10. 31.

Neural Networks and Applications참고 문헌 19인용 수 114

한 줄 요약

논문은 Stiefel 다양체에서 모든 고유행렬을 최적화하는 전체 용량의 단위 역전적 신경망(uRNNs)을 도입하여, 제한 용량 매개변수가 N>7에서 모든 유니터리 행렬을 커버할 수 없음을 증명하고, LSTM 및 이전의 제한-uRNN보다 우수한 성능을 보여준다.

ABSTRACT

Recurrent neural networks are powerful models for processing sequential data, but they are generally plagued by vanishing and exploding gradient problems. Unitary recurrent neural networks (uRNNs), which use unitary recurrence matrices, have recently been proposed as a means to avoid these issues. However, in previous experiments, the recurrence matrices were restricted to be a product of parameterized unitary matrices, and an open question remains: when does such a parameterization fail to represent all unitary matrices, and how does this restricted representational capacity limit what can be learned? To address this question, we propose full-capacity uRNNs that optimize their recurrence matrix over all unitary matrices, leading to significantly improved performance over uRNNs that use a restricted-capacity recurrence matrix. Our contribution consists of two main components. First, we provide a theoretical argument to determine if a unitary parameterization has restricted capacity. Using this argument, we show that a recently proposed unitary parameterization has restricted capacity for hidden state dimension greater than 7. Second, we show how a complete, full-capacity unitary recurrence matrix can be optimized over the differentiable manifold of unitary matrices. The resulting multiplicative gradient step is very simple and does not require gradient clipping or learning rate adaptation. We confirm the utility of our claims by empirically evaluating our new full-capacity uRNNs on both synthetic and natural data, achieving superior performance compared to both LSTMs and the original restricted-capacity uRNNs.

연구 동기 및 목표

• 단위 순환을 사용하여 순환 신경망의 소실 및 폭주 기울기를 동기화하고 해결한다.
• 기존의 유니터리 매개변수화가 유니터리 군을 완전히 포괄하는지 평가한다.
• 전체 용량의 uRNN을 달성하기 위한 유니터리 매니폴드에서의 최적화를 개발한다.
• 다양한 작업에서 전체 용량의 uRNN을 LSTM 및 제한 용량 uRNN과 실험적으로 비교한다.

제안 방법

• 본 논문은 구조화된 유니터리 매개변수화의 용량을 분석하고 Sard의 정리를 사용해 차원 N>7에서 제한적임을 입증한다.
• 유니터리 행렬의 Stiefel 매니폴드에서 전체 용량의 W를 학습하기 위한 최적화를 도입하며, 그 업데이트는 (I + (lambda/2)A)^{-1}(I - (lambda/2)A)W 형태의 곱셈적 Cayley-유사 업데이트로, A는 그래디언트에서 도출된다.
• 재귀 행렬을 제외한 모든 매개변수에 대해 RMSprop를 사용하고, 재귀 매트릭스는 경사 클리핑 없이 스티펠 매니폴드에서 고정 학습률 업데이트를 사용한다.
• Theano에서 이 접근법을 구현하고 공정한 비교를 위해 제한된 uRNN 기준선을 모방한다.
• 실험은 합성 시스템 식별 및 장기 기억 과제, 음성 STFT 프레임 예측, 그리고 픽셀 단위 MNIST를 다룬다.

실험 결과

연구 질문

• RQ1 숨겨진 상태 차원 N에 대해 제한 용량의 유니터리 매개변수가 모든 유니터리 행렬을 나타낼 수 있는가?
• RQ2 전체 용량의 유니터리 재귀 행렬을 학습시키는 것이 제한 용량 uRNN에 비해 학습 및 일반화 성능을 향상시키는가?
• RQ3 장기 의존성 과제 및 실제 데이터에서 전체 용량의 uRNN은 LSTM에 비해 어떤 성능을 보이는가?
• RQ4 합성 데이터와 자연 데이터 과제에서 제한 vs 전체 용량 uRNN을 비교할 때 어떤 실증 이득이 발생하는가?

주요 결과

• N>7일 때 제한 용량 매개변수화가 모든 유니터리 행렬을 커버하지 못한다.
• 전체 용량의 uRNN은 여러 과제에서 제한 용량 uRNN 및 LSTM을 능가하며, 장기 기억 및 음성 프레임 예측을 포함한다.
• 합성 시스템 식별에서 N>7에 대해 전체 용량 uRNN이 제한 용량 변형보다 더 낮은 테스트 MSE를 달성한다.
• 긴 시퀀스의 복사 기억 문제에서 전체 용량 uRNN은 교차 엔트로피를 0에 수렴하는 반면 제한 용량 변형은 그렇지 않다.
• 음성 데이터(STFT 로그-크기 예측)에서 전체 용량 uRNN은 비슷한 매개변수의 제한 용량 대비 더 낮은 MSE와 더 나은 지각 지표를 보인다.
• 픽셀 단위 MNIST에서 비슷한 파라미터 수를 가진 전체 용량 uRNN은 일부 설정에서 LSTM의 성능에 필적하거나 이를 상회하고, 종종 제한 용량 uRNN보다 우수하다.