[논문 리뷰] Advances in Optimizing Recurrent Networks

Yoshua Bengio, Nicolas Boulanger-Lewandowski외 1명|arXiv (Cornell University)|2012. 12. 04.

Music and Audio Processing인용 수 10

한 줄 요약

이 논문은 기울기 클리핑, 누설 통합, 적응형 동량, 향상된 출력 모델링, 희소 기울기 정규화를 결합하여 순환 신경망(RNN) 학습을 향상시킨다. 이러한 기법들은 장기 의존성 작업에서 최적화를 향상시키며, 확률적 경사하강법(SGD)에 이러한 개선을 가미함으로써 텍스트 및 음악 예측 벤치마크에서 헤시안 프리(행렬) 최적화 방법의 성능을 도달하거나 초월할 수 있다.

ABSTRACT

After a more than decade-long period of relatively little research activity in the area of recurrent neural networks, several new developments will be reviewed here that have allowed substantial progress both in understanding and in technical solutions towards more efficient training of recurrent networks. These advances have been motivated by and related to the optimization issues surrounding deep learning. Although recurrent networks are extremely powerful in what they can in principle represent in terms of modelling sequences,their training is plagued by two aspects of the same issue regarding the learning of long-term dependencies. Experiments reported here evaluate the use of clipping gradients, spanning longer time ranges with leaky integration, advanced momentum techniques, using more powerful output probability models, and encouraging sparser gradients to help symmetry breaking and credit assignment. The experiments are performed on text and music data and show off the combined effects of these techniques in generally improving both training and test error.

연구 동기 및 목표

• 긴 시퀀스에서 열악한 최적화 경로와 기울기 소실/폭발 문제로 인해 오랫동안 해결되지 않은 RNN 최적화 과제를 해결하기 위해.
• 학습 안정성과 효율성을 향상시키기 위해 여러 최적화 기법을 결합하여 일반화 능력과 학습 효율을 향상시키기 위해.
• 단순한 수정을 통해 강화된 SGD가 순서 모델링 작업에서 헤시안 프리(행렬) 최적화와 같은 이阶 최적화 방법의 성능을 뒤지지 않도록 하는 것을 보여주기 위해.
• 이러한 기법들이 텍스트 및 심벌 음악을 포함한 다양한 순서 데이터에서 학습 오차와 테스트 오차에 미치는 영향을 평가하기 위해.

제안 방법

• 기울기 클리핑은 한 데이터 패assing 동안 평균 기울기 노름을 기반으로 한 임계값을 사용하여 적용되며, 역전파 중 기울기 폭발을 방지한다.
• 누설 통합은 일부 은닉 유닛이 과거 상태와 잔류 연결을 유지하도록 허용함으로써 도입되며, 장기 기억 유지에 기여한다.
• 고급 동량 기법이 사용되며, 적응형 학습률과 동량 스케줄링은 검증 세트에서 무작위 탐색을 통해 튜닝된다.
• 기울기의 희소성은 정규화와 무작위 샘플링을 통해 장려되며, 대칭성 해제와 더 효과적인 책임 할당에 기여한다.
• NADE 및 RBM 기반 출력 모델과 같은 향상된 출력 확률 모델이 사용되어 복잡한 순서 분포를 더 잘 포착한다.
• 실험에서는 40–150단계의 시퀀스 길이를 사용하며, 동일한 시퀀스 내에서(예: 노래) 은닉 상태를 시퀀스 간에 유지함으로써 시간적 맥락을 보존한다.

실험 결과

연구 질문

• RQ1 확률적 경사하강법에 대한 단순한 수정이 RNN에서 학습 안정성과 성능 향상에 상당한 영향을 미칠 수 있는가?
• RQ2 강화된 SGD는 RNN 학습에서 헤시안 프리(행렬) 최적화와 같은 이阶 최적화 방법과 얼마나 경쟁할 수 있는가?
• RQ3 기울기 클리핑, 누설 유닛, 희소 기울기 기법들이 RNN에서 장기 의존성 최적화에 어떻게 공동으로 영향을 미치는가?
• RQ4 향상된 출력 모델링과 동량 스케줄링은 순서 모델링 작업에서 일반화 오차를 감소시키는가?
• RQ5 이러한 기법들은 문자 수준과 단어 수준의 언어 모델링 작업 모두에서 효과적일 수 있는가?

주요 결과

• 펜 트리뱅크 코퍼스에서, 클리핑, 정 rectified 유닛, 희소 기울기 기반으로 강화된 SGD는 다음 단어 예측의 테스트 퍼플렉서티를 128.35로 낮추어 표준 SGD(145.16)를 초월했다.
• 문자 수준 모델링에서는, SGD+CRM을 적용한 최고의 RNN-NADE 모델이 테스트 퍼플렉서티 32.50을 기록하여 표준 SGD(145.16)를 압도하고 헤시안 프리 성능에 가까워졌다.
• 음악 예측 작업에서는, 강화된 RNN 모델이 표준 SGD의 -7.00 대비 테스트 로그우도 -6.32를 기록하여 일관된 성능 향상을 보였다.
• 기울기 클리핑, 누설 유닛, 적응형 동량의 조합은 모든 데이터셋에서 학습 오차를 감소시키고 일반화 능력을 향상시켜 손실 표면의 최적화가 향상되었음을 시사했다.
• 결과적으로 이러한 기법들은 SGD가 헤시안 프리 최적화와 같은 이阶 최적화 방법과 경쟁할 수 있음을 보여주며, RNN 학습 성능 향상에 뛰어난 성능을 발휘한다.
• 무작위 탐색을 통한 하이퍼파rameter 튜닝은 모델 성능 향상에 기여하였으며, 최적 설정은 200–500개의 은닉 유닛, 학습률 0.01–0.5, 25–50%의 누설 유닛을 포함한다.