[논문 리뷰] A Simple Way to Initialize Recurrent Networks of Rectified Linear Units

Quoc V. Le, Navdeep Jaitly외 1명|arXiv (Cornell University)|2015. 04. 03.

Topic Modeling참고 문헌 32인용 수 554

한 줄 요약

이 논문은 정규화 선형 단위(ReLUs)를 갖는 순환 네트워크에 대한 단순하면서도 효과적인 초기화 방법을 제안한다. 여기서 순환 가중치 행렬은 항등행렬(또는 스케일된 버전)로 초기화된다. 이 방법은 역전파 중 기울기 흐름을 안정화시켜 깊은 RNN의 효율적 훈련을 가능하게 하며, 언어 모델링 및 음성 인식과 같은 장거리 의존성 작업에서 LSTMs와 비교할 만한 성능을 달성한다.

ABSTRACT

Learning long term dependencies in recurrent networks is difficult due to vanishing and exploding gradients. To overcome this difficulty, researchers have developed sophisticated optimization techniques and network architectures. In this paper, we propose a simpler solution that use recurrent neural networks composed of rectified linear units. Key to our solution is the use of the identity matrix or its scaled version to initialize the recurrent weight matrix. We find that our solution is comparable to LSTM on our four benchmarks: two toy problems involving long-range temporal structures, a large language modeling problem and a benchmark speech recognition problem.

연구 동기 및 목표

• ReLU 유닛을 갖는 순환 네트워크 훈련 시 기울기 소실 및 기울기 폭발 문제를 해결하기 위해.
• 복잡한 게이팅 메커니즘이 없는 ReLU 기반 RNN이 LSTMs와 비교해 유사한 성능을 달성할 수 있는지 조사하기 위해.
• 간단한 가중치 초기화 전략이 훈련을 안정화시키고 장거리 시간 의존성을 효과적으로 학습하는 데 기여할 수 있는지 확인하기 위해.
• 항등행렬 초기화가 LSTMs의 복잡한 아키텍처에 비해 실용적인 대안이 될 수 있는지 탐색하기 위해.
• 이 방법이 언어 모델링 및 음성 인식을 포함한 다양한 벤치마크에서 얼마나 효과적인지 평가하기 위해.

제안 방법

• ReLU 유닛을 갖는 RNN의 순환 가중치 행렬을 항등행렬(또는 스케일된 버전)으로 초기화하고, 편향은 0으로 설정한다.
• 오차 도함수 계산에 표준 역전파를 사용하고, 모멘텀을 사용한 확률적 경사 하강법을 최적화에 적용한다.
• 훈련 중 기울기 폭발을 방지하기 위해 기울기 클리핑을 적용한다.
• 장거리 의존성이 덜한 작업의 경우, 과거 정보를 더 빨리 잊을 수 있도록 스케일된 항등행렬(예: 0.01I)을 사용한다.
• 음성 인식과 같은 시퀀스 모델링 작업을 위해 모델의 양방향 변형을 구현한다.
• 대규모 어휘 어휘 언어 모델링 작업에서 출력 차원을 줄이기 위해 선형 투영 레이어를 사용하여 파라미터 증가를 최소화한다.

실험 결과

연구 질문

• RQ1 항등행렬 초기화를 사용한 ReLU 기반 RNN이 LSTMs만큼 장거리 시간 의존성을 효과적으로 학습할 수 있는가?
• RQ2 항등행렬 초기화가 ReLU RNN에서 기울기 흐름을 안정화시켜 기울기 소실 또는 기울기 폭발을 방지하는가?
• RQ3 실제 작업, 예를 들어 언어 모델링 및 음성 인식에서 항등행렬 초기화된 ReLU RNN의 성능이 표준 RNN과 LSTMs에 비해 어떻게 비교되는가?
• RQ4 장거리 의존성이 덜 중요한 작업에서는 전체 항등행렬 초기화보다 스케일된 항등행렬이 더 효과적인가?
• RQ5 LSTMs의 아키텍처 복잡성에 비해 간단한 RNN의 성공에 있어 가중치 초기화가 차지하는 역할은 무엇인가?

주요 결과

• 항등행렬 초기화는 ReLU 기반 RNN(이른바 iRNN)이 10억 단어 언어 모델링 벤치마크에서 테스트 퍼플렉서티 69.4를 달성하게 해주었으며, 이는 LSTMs의 68.8과 매우 유사한 성능이다.
• TIMIT 음성 인식 작업에서 5층 양방향 iRNN은 테스트 세트에서 28.9%의 프레임 오류율을 기록했으며, 표준 RNN을 뛰어넘고 5층 양방향 LSTM(29.1%)의 성능에 근접했다.
• 장거리 의존성이 거의 없는 작업, 예를 들어 음성 인식과 같은 작업에서는 스케일된 항등행렬 초기화(0.01I)가 전체 항등행렬 초기화보다 수렴 속도와 성능 면에서 향상되었다.
• 4층, 각 층당 512개 유닛을 갖는 iRNN은 게이팅 메커니즘이 없는 더 단순한 아키텍처임에도 불구하고 언어 모델링 작업에서 LSTMs와 동등한 성능을 달성했다.
• 모든 실험에서 iRNN은 tanh 유닛을 사용한 표준 RNN보다 우수한 성능을 보였으며, 이는 ReLU 기반 RNN에 대해 항등행렬 초기화가 우월함을 보여준다.
• 이 방법은 Hessian-Free나 적응 학습률과 같은 복잡한 최적화 기법이 필요 없이 깊은 RNN의 안정적 훈련을 가능하게 하며, 단순한 초기화와 기울기 클리핑에 의존한다.