[논문 리뷰] Capacity and Trainability in Recurrent Neural Networks

Jasmine Collins, Jascha Sohl‐Dickstein외 1명|arXiv (Cornell University)|2016. 11. 29.

Neural Networks and Applications인용 수 82

한 줄 요약

이 논문은 순환 신경망(RNNs)의 용량과 학습 가능성(capacity and trainability)을 조사하며, 모든 일반적인 RNN 아키텍처—기본 RNN, LSTM, GRU, 그리고 새로운 변종들—이 최적화된 학습 조건에서 거의 동일한 파라미터당 및 유닛당 용량 한계에 도달함을 발견한다. 주요 기여는 작업 용량이 약 5비트/파라미터이며, 입력 이력 메모리는 약 1개의 실수값/히든 유닛 수준이며, 아키텍처 간 성능 차이의 주요 원인은 용량이 아니라 학습 가능성임을 규명한 것이다.

ABSTRACT

Two potential bottlenecks on the expressiveness of recurrent neural networks (RNNs) are their ability to store information about the task in their parameters, and to store information about the input history in their units. We show experimentally that all common RNN architectures achieve nearly the same per-task and per-unit capacity bounds with careful training, for a variety of tasks and stacking depths. They can store an amount of task information which is linear in the number of parameters, and is approximately 5 bits per parameter. They can additionally store approximately one real number from their input history per hidden unit. We further find that for several tasks it is the per-task parameter capacity bound that determines performance. These results suggest that many previous results comparing RNN architectures are driven primarily by differences in training effectiveness, rather than differences in capacity. Supporting this observation, we compare training difficulty for several architectures, and show that vanilla RNNs are far more difficult to train, yet have slightly higher capacity. Finally, we propose two novel RNN architectures, one of which is easier to train than the LSTM or GRU for deeply stacked architectures.

연구 동기 및 목표

• 다양한 RNN 아키텍처 간 성능 차이가 본질적 용량 한계 때문인지 아니면 학습 난이도 때문인지 조사하기.
• 반복 네트워크가 파라미터에 대해 작업 정보를 얼마나 많은 정보를 저장할 수 있는지, 그리고 히든 유닛이 입력 이력에 대해 얼마나 많은 정보를 저장할 수 있는지 정량화하기.
• 게이팅된 RNNs(LSTM, GRU 등)가 기본 RNN보다 우월한 계산 또는 메모리 용량을 지닌다거나 그렇지 않은지 판단하기.
• 깊은 RNN 아키텍처에서 모델 용량과 학습 가능성 간의 상호 상충 관계 평가하기.
• 개선된 학습 가능성과 확장성 확보를 목적으로 한 두 가지 새로운 RNN 아키텍처인 UGRNN과 +RNN을 제안하고 평가하기.

제안 방법

• 다양한 RNN 아키텍처와 작업에 대해 최적의 학습을 위해 베이지안 하이퍼파ram터 튜너(Gaussian Process 기반)를 사용하여 수백에서 수천 번의 시도 동안 검증 손실을 최소화함.
• 아키텍처가 성능에 미치는 영향을 분리하기 위해 아키텍처 간 파라미터 수를 동일하게 유지하면서 깊이(1, 2, 4, 8)를 변화시켜 확장성 평가.
• 두 가지 새로운 RNN 아키텍처를 설계함: UGRNN(단일 결합 게이팅을 가진 최소한의 게이팅 RNN)과 +RNN(게이팅을 깊이 차원으로 확장한 아키텍처).
• 통제된 작업을 사용하여 파라미터당 작업 기억력과 유닛당 입력 이력 기억력을 측정하는 용량 실험 수행.
• 게이팅 모델이 기본 RNN보다 성능이 뛰어나야 할 어려운 작업에서 학습 가능성 비교 수행.
• 국소 최적해를 피하기 위해 최적 하이퍼파ram터를 기반으로 반복 학습 실행(100회)을 통해 결과의 안정성 검증.

실험 결과

연구 질문

• RQ1 최적화된 조건에서 RNN은 파라미터당 얼마나 많은 작업 관련 정보를 저장할 수 있으며, 이 용량은 아키텍처에 따라 유의미하게 다를까?
• RQ2 RNN은 히든 유닛당 얼마나 많은 입력 이력 정보를 저장할 수 있으며, 이 용량 한계가 일반 작업에서 성능에 영향을 미치는가?
• RQ3 RNN 아키텍처 간 성능 차이가 본질적 용량이 아닌 학습 가능성의 차이에서 기인하는 정도는 어느 정도인가?
• RQ4 LSTM, GRU 등 게이팅된 RNNs가 곱셈과 같은 복잡한 연산을 수행하는 데서 기본 RNN보다 계산상의 이점이 있는가?
• RQ5 새로운 RNN 아키텍처(예: UGRNN, +RNN)는 특히 깊은 아키텍처에서 더 뛰어난 학습 가능성과 성능을 달성할 수 있는가?

주요 결과

• 모든 RNN 아키텍처가 최적의 학습 조건에서 거의 동일한 파라미터당 용량을 달성하며, 이는 최적 학습 시 약 5비트의 작업 정보를 파라미터당 저장함.
• RNN은 히든 유닛당 약 1개의 실수값 수준의 입력 이력 정보를 저장할 수 있으나, 이 용량은 일반 작업에서 성능에 유의미한 영향을 주지 않음.
• 아키텍처 간 성능 차이는 주로 학습 가능성에 기인하며, 이는 기본 RNN이 다소 더 높은 이론적 용량을 지닌 반면 학습이 더 어려움.
• UGRNN과 +RNN 아키텍처는 LSTM이나 GRU보다 학습이 더 쉬웠으며, 특히 깊은 아키텍처에서 +RNN이 다른 아키텍처를 앞서 성능을 냄.
• 얕은 아키텍처에서는 GRU가 게이팅된 RNN 중에서 가장 학습 가능성이 높았지만, LSTM은 안정성은 확보했지만 실험에서 가장 뛰어난 성능은 자주 기록하지 못함.
• 실제로 관측된 5비트/파라미터의 용량은 생물학적 시냅스 용량(4.7비트/시냅스)과 매우 유사하여 신경망 내 정보 저장의 근본적 한계를 시사함.