[논문 리뷰] Path-Normalized Optimization of Recurrent Neural Networks with ReLU Activations

Behnam Neyshabur, Yuhuai Wu외 2명|arXiv (Cornell University)|2016. 05. 23.

Topic Modeling참고 문헌 12인용 수 16

한 줄 요약

이 논문은 경로정규화를 피드포워드 네트워크에서 공유 가중치를 가진 RNN 아키텍처로 확장함으로써, ReLU 활성화를 가진 순환 신경망(RNN)을 위한 기하학적 인식 최적화 방법인 Path-SGD를 제안한다. Path-SGD는 긴 시퀀스 작업에서 훈련 안정성과 성능을 크게 향상시키며, 표준 SGD와 조차 실패하는 750길이의 덧셈 시퀀스에서 0% 오차를 달성하고, 언어 모델링 벤치마크에서 단순 RNN과 LSTMs 간의 성능 격차를 50% 이상 감소시킨다.

ABSTRACT

We investigate the parameter-space geometry of recurrent neural networks (RNNs), and develop an adaptation of path-SGD optimization method, attuned to this geometry, that can learn plain RNNs with ReLU activations. On several datasets that require capturing long-term dependency structure, we show that path-SGD can significantly improve trainability of ReLU RNNs compared to RNNs trained with SGD, even with various recently suggested initialization schemes.

연구 동기 및 목표

• 기울기 소실 또는 폭발 문제로 인해 성능이 떨어지는 단순 RNN의 훈련 어려움을 해결하기 위해.
• 공유 가중치를 가진 피드포워드 네트워크의 하위집합으로서 RNN의 파rameter-공간 기하학을 이해하기 위해.
• 이 기하학에 맞는 최적화 방법을 개발하여 수렴성과 일반화 성능을 향상시키기 위해.
• 보다 복잡한 아키텍처(예: LSTMs)보다 더 나은 최적화가 장기 의존성 작업에서 승리할 수 있음을 입증하기 위해.
• 자원이 제한된 환경(예: 모바일 플랫폼)에서 실용적으로 단순하고 저비용의 RNN을 구현할 수 있도록 하기 위해.

제안 방법

• 방향 비순환 그래프(G)와 가중치 공유 매핑(π)을 사용하여 RNN을 공유 가중치를 가진 피드포워드 네트워크로 수식화하기.
• 피드포워드 네트워크에서의 경로노름을 RNN에 적응시켜, 가중치 공유와 척도 불변성을 고려한 기하학을 정의하기.
• 경로노름 기반 손실에 대한 기울기 하강법을 통해 경로노름 기반 최적화(Path-SGD)를 유도하기.
• 경로노름을 사용해 기울기를 정규화함으로써, 가중치 척도에 대한 민감도를 줄이고 최적화 동역학을 안정화시키기.
• 대규모 언어 모델링 작업에서 수렴 속도를 높이기 위해 Path-SGD를 Adam 최적화기와 조합하기.
• 합성 작업(덧셈 문제)과 실제 벤치마크(PTB, text8)에 대해 표준 SGD와 LSTMs와의 비교 분석을 수행하기.

실험 결과

연구 질문

• RQ1 공유 가중치로 인해 RNN의 파rameter-공간 기하학은 표준 피드포워드 네트워크와 어떻게 다를까?
• RQ2 피드포워드 네트워크에서 효과적이었던 경로정규화는 공유 가중치를 가진 RNN으로 확장되어 최적화를 향상시킬 수 있을까?
• RQ3 표준 SGD와 초기화 방법과 비교했을 때, Path-SGD는 긴 시퀀스 작업에서 ReLU RNN의 훈련 안정성과 성능을 향상시키는가?
• RQ4 Path-SGD는 단순 RNN과 LSTMs와의 성능 격차를 어느 정도 줄일 수 있는가?
• RQ5 Path-SGD는 장기 의존성 및 언어 모델링 작업에서 단순 RNN이 LSTMs를 능가하거나 대체할 수 있도록 할 수 있는가?

주요 결과

• Path-SGD는 750길이 덧셈 문제에서 테스트 오차가 0%였으며, LSTMs를 포함한 모든 다른 방법이 실패했다.
• PTB 언어 모델링 데이터셋에서 RNN-Path는 1.47 BPC를 기록하여 ReLU RNN(1.55 BPC)을 초월하고, LSTM(1.41 BPC)과의 격차를 57% 감소시켰다.
• text8 데이터셋에서 RNN-Path는 1.58 BPC를 기록하여 ReLU RNN(1.65 BPC)을 초월하고, LSTM(1.52 BPC)과의 격차를 54% 감소시켰다.
• 정규화 초기화 조건에서도 Path-SGD는 단순 RNN이 750길이 덧셈 작업을 해결할 수 있도록 해, 초기화에 대한 강건성을 입증했다.
• 시퀀스 MNIST에서 일반화 성능을 향상시켜 최신 RNN 변종과 경쟁 가능한 오차율을 달성했다.
• 가중치 척도에 대한 민감도가 감소하고 최적화 동역학이 향상되어, RNN의 내재 기하학과 더 잘 일치하는 것으로 나타났다.