[논문 리뷰] Tunable Efficient Unitary Neural Networks (EUNN) and their application to RNNs

Jing Li, Yichen Shen외 6명|arXiv (Cornell University)|2016. 12. 15.

Speech Recognition and Synthesis참고 문헌 22인용 수 97

한 줄 요약

이 논문은 $Ó(1)$의 계산 비용으로 전체 유니터리 행렬 공간을 매개변수화하는 새로운 RNN 아키텍처인 조절 가능한 효율적 유니터리 신경망(EUNNs)을 소개한다. 이는 기울기 소실/폭발 문제 없이 안정적인 학습을 가능하게 한다. EUNNs는 복사 작업, 순서가 뒤집힌 MNIST, TIMIT 음성 예측과 같은 장기 시퀀스 작업에서 최신 기술 수준의 성능을 달성하며, LSTMs와 이전의 유니터리 RNN보다 정확도와 학습 속도에서 뛰어나다.

ABSTRACT

Using unitary (instead of general) matrices in artificial neural networks (ANNs) is a promising way to solve the gradient explosion/vanishing problem, as well as to enable ANNs to learn long-term correlations in the data. This approach appears particularly promising for Recurrent Neural Networks (RNNs). In this work, we present a new architecture for implementing an Efficient Unitary Neural Network (EUNNs); its main advantages can be summarized as follows. Firstly, the representation capacity of the unitary space in an EUNN is fully tunable, ranging from a subspace of SU(N) to the entire unitary space. Secondly, the computational complexity for training an EUNN is merely $\mathcal{O}(1)$ per parameter. Finally, we test the performance of EUNNs on the standard copying task, the pixel-permuted MNIST digit recognition benchmark as well as the Speech Prediction Test (TIMIT). We find that our architecture significantly outperforms both other state-of-the-art unitary RNNs and the LSTM architecture, in terms of the final performance and/or the wall-clock training speed. EUNNs are thus promising alternatives to RNNs and LSTMs for a wide variety of applications.

연구 동기 및 목표

• 유니터리 가중치 행렬을 활용하여 RNN에서 기울기 소실 및 폭발 문제를 해결함으로써, 역전파 동안 기울기 안정성을 유지한다.
• 투영 기반 최적화나 제한된 부분공간에 의존하는 이전의 유니터리 RNN의 한계를 극복함으로써, 계산 비용이 높거나 표현 능력이 떨어지는 문제를 해결한다.
• 하위공간에서 전체 유니터리 공간까지 조절 가능한 용량을 허용하면서도 계산 효율성을 유지하는 전체 유니터리 군의 매개변수화 방법을 개발한다.
• 복사 작업, 픽셀 순서가 뒤집힌 MNIST, TIMIT에서의 음성 예측과 같은 장기 시퀀스 학습 벤치마크에서 뛰어난 성능을 보이며, 파라미터 수를 줄이고 학습 속도를 높인다.

제안 방법

• 조절 가능한 구조를 가진 회전 행렬의 곱을 사용하여 유니터리 행렬의 새로운 매개변수화를 제안함으로써, 전체 유니터리 공간 $U(N)$ 또는 그 부분공간을 완전히 커버할 수 있도록 한다.
• 각 매개변수 갱신과 기울기 계산이 매개변수당 $Ó(1)$의 연산만으로 이루어지도록 아키텍처를 설계함으로써, 선형 시간 복잡도의 학습 복잡도를 달성한다.
• 두 가지 변종을 구현: 용량 제어가 가능한 유연한 구조의 터널러블 스타일 EUNN과 최소한의 파라미터화와 효율적인 근사화를 위한 FFT 유사 스타일.
• 학습 중에 투영 단계를 피하는 재매개변수화 전략을 적용함으로써, 반복적인 유니터리 제약 조건이 필요 없으며 계산 오버헤드를 줄인다.
• 표준 은닉-은닉 가중치 행렬을 유니터리 행렬로 대체함으로써, 순환 신경망에 EUNN을 적용한다. 이 유니터리 행렬은 회전 행렬을 통한 매개변수화로 표현된다.
• 체인 규칙에 따라 기울기 계산을 수행하는 표준 역전파를 사용하며, 유니터리 변환의 자코비안은 닫힌 형태의 도함수를 사용해 효율적으로 계산된다.

실험 결과

연구 질문

• RQ1 투영 기반 최적화에 의존하지 않고 전체 유니터리 군 $U(N)$을 커버할 수 있는 유니터리 RNN 아키텍처를 설계할 수 있는가?
• RQ2 매개변수당 $Ó(1)$의 계산 비용을 가지는 유니터리 RNN이 기존 방법보다 장기 시퀀스 작업에서 더 높은 학습 효율성과 성능을 달성할 수 있는가?
• RQ3 유니터리 RNN의 표현 용량을 작업에 맞게 조절할 수 있는가? 예를 들어, 단기 기억에는 낮은 용량이, 장기 의존성에는 높은 용량이 필요하다.
• RQ4 TIMIT와 순서가 뒤집힌 MNIST와 같은 실제 벤치마크에서 EUNN 아키텍처는 LSTMs와 다른 유니터리 RNN들과 비교해 최종 정확도와 월클럭 학습 속도에서 어떻게 성능을 내는가?
• RQ5 유니터리 공간의 전체 커버리지와 계산 효율성을 유지하면서도, 곱 분해에서의 행렬 순서 배열 방식에 대해 EUNN 아키텍처가 얼마나 강인한가?

주요 결과

• EUNN 아키텍처는 전진 및 역전파 모두에서 매개변수당 $Ó(1)$의 계산 비용을 달성하여, 이전의 전체 공간 유니터리 RNN 방법(Wisdom 등, 2016)보다 $Ó(\log N)$ 더 효율적이다.
• 복사 작업에서 EUNN은 은닉 크기가 128일 때 100% 정확도를 달성하며, LSTM과 이전의 유니터리 RNN을 모두 능가한다.
• 픽셀 순서가 뒤집힌 MNIST에서 EUNN은 뿌리 파라미터 수가 33,000개에 불과한 97.5%의 테스트 정확도를 기록하며, LSTM 기준선과 이전의 유니터리 RNN을 크게 능가한다.
• TIMIT 음성 예측 작업에서 전체 용량 EUNN은 테스트 MSE 51.9를 기록하여 LSTM(테스트 MSE 54.5)과 다른 유니터리 RNN 변종을 능가한다.
• 용량 조절 기능이 있는 EUNN(예: 128(2) 또는 128(32))은 복사 작업과 같은 단기 기억 작업에는 작은 부분공간으로도 충분하며, 음성 예측과 같은 복잡한 작업에는 더 큰 부분공간이 필요하다는 점을 보여준다.
• FFT 유사 스타일 EUNN 변종은 더 적은 파라미터로 전체 EUNN과 유사한 성능을 달성하여, 정확도를 희생시키지 않고도 효율적인 근사화가 가능함을 입증한다.