[논문 리뷰] Recurrent Highway Networks

Julian Zilly, Rupesh K. Srivastava외 2명|arXiv (Cornell University)|2016. 07. 12.

Natural Language Processing Techniques참고 문헌 32인용 수 86

한 줄 요약

이 논문은 순환 깊이를 초월하여 반복 전이 내에 하이웨이 레이어를 스택하여 더 깊고 강력한 순차 모델링을 가능하게 하는 새로운 RNN 아키텍처인 순환 하이웨이 네트워크(RHNs)를 소개한다. Gerçgorin의 원정리에 기반한 이론적 분석을 통해 저자들은 RHNs가 기울어짐/폭발하는 기울기 문제를 완화하고 최신 성능을 달성함을 보여준다: 동일한 파라미터로 순환 깊이를 1에서 10으로 늘일 때 펜 트리뱅크에서 어순 어휘 어려움이 90.6에서 65.4로 감소하고, enwik8에서는 1.27 비트/문자로 이전 방법들을 능가한다.

ABSTRACT

Many sequential processing tasks require complex nonlinear transition functions from one step to the next. However, recurrent neural networks with 'deep' transition functions remain difficult to train, even when using Long Short-Term Memory (LSTM) networks. We introduce a novel theoretical analysis of recurrent networks based on Gersgorin's circle theorem that illuminates several modeling and optimization issues and improves our understanding of the LSTM cell. Based on this analysis we propose Recurrent Highway Networks, which extend the LSTM architecture to allow step-to-step transition depths larger than one. Several language modeling experiments demonstrate that the proposed architecture results in powerful and efficient models. On the Penn Treebank corpus, solely increasing the transition depth from 1 to 10 improves word-level perplexity from 90.6 to 65.4 using the same number of parameters. On the larger Wikipedia datasets for character prediction (text8 and enwik8), RHNs outperform all previous results and achieve an entropy of 1.27 bits per character.

연구 동기 및 목표

• 시간과 공간에서 장기적인 책임 할당 경로를 가진 깊은 순환 네트워크를 훈련하는 데 도전하는 것.
• 깊이를 늘릴수록 기울어짐/폭발하는 기울기 문제로 어려움을 겪는 기존의 RNN 아키텍처(LSTM 및 스택드 RNN 등)를 개선하는 것.
• 모델링 능력을 높이되 훈련 안정성을 해치지 않는 이론적으로 탄탄한 순환 깊이 증가 방법을 개발하는 것.
• 하이웨이 레이어를 통한 더 깊은 순환 전이가 표준 언어 모델링 벤치마크에서 상당히 향상된 성능을 이끌어내는지 입증하는 것.

제안 방법

• 단일 순환 전이를 하이웨이 레이어의 스택으로 대체하여 순환 깊이가 1을 초월하는 RNN 아키텍처인 순환 하이웨이 네트워크(RHNs)를 제안한다.
• 기울기 흐름을 분석하기 위해 Gerçgorin의 원정리를 적용하여, 게이트가 오차 역전파를 어떻게 제어하는지와 하이웨이 연결이 훈련을 어떻게 안정화시키는지에 대한 통찰을 제공한다.
• 학습 가능한 변환 및 캐리 게이트를 갖춘 하이웨이 레이어를 사용하여 각 타임스텝에서 다중 비선형 변환을 위한 적응적이고 동적 계산을 가능하게 한다.
• 특히 깊은 순환 전이에서 일반화 성능을 향상시키기 위해 층 정규화(LN)를 적용한다.
• 각 타임스텝에서 다중 비선형 변환을 수행할 수 있도록 RHN 아키텍처를 설계하여 순환 경로의 깊이를 효과적으로 증가시킨다.
• 가중치 묶음과 드롭아웃을 통한 정규화를 고려한 표준 시간을 거쳐 기울기 역전파(backpropagation through time)를 사용해 네트워크를 최적화한다.

실험 결과

연구 질문

• RQ1 RNN의 순환 깊이를 1층을 초월해 증가시키는 것이 순차적 작업에 대한 모델링 능력과 성능을 상당히 향상시킬 수 있는가?
• RQ2 표준 RNN 또는 스택드 RNN과 비교했을 때, 순환 전이 내 하이웨이 레이어가 기울기 흐름과 훈련 안정성에 어떤 영향을 미치는가?
• RQ3 RHNs에서 향상된 기울기 역학의 이론적 기초는 무엇이며, 이는 LSTM 셀의 행동과 어떻게 관련되는가?
• RQ4 언어 모델링 벤치마크인 펜 트리뱅크와 enwik8에서 순환 깊이를 늘리는 것이 성능 향상에 어느 정도 기여하는가?
• RQ5 순환 전이 내 개별 하이웨이 레이어가 전체 네트워크 성능에 기여하는 방식은 무엇인가?

주요 결과

• 펜 트리뱅크 데이터셋에서 RHNs의 순환 깊이를 1에서 10으로 늘일 경우, 동일한 파라미터 수로 어순 어휘 어려움이 90.6에서 65.4로 감소하였다.
• enwik8 데이터셋에서 RHNs는 테스트 세트 엔트로피를 1.27 비트/문자로 기록하여 이전 모든 방법들을 능가하였다.
• text8 데이터셋에서 RHNs는 4500만 파라미터의 모델 크기로 테스트 세트 엔트로피 1.27 비트/문자로 달성하여 새로운 최고 기록을 수립하였다.
• 손실 분석 실험 결과, 순환 전이 내 첫 번째 레이어가 성능에 가장 큰 기여를 했지만, 어떤 레이어라도 제거할 경우 순환 구조의 특성상 결과가 상당히 악화됨을 확인하였다.
• 순환 깊이 10을 가진 RHNs는 enwik8에서 68.5 BPC를 기록했고, 펜 트리뱅크에서는 65.4의 어휘 어려움을 달성하여 변분 LSTM 및 신경 구조 탐색 기반 모델보다 뛰어난 성능을 보였다.
• Gerçgorin의 원정리를 사용한 이론적 분석 결과, 하이웨이 레이어가 시간적 자코비안 행렬의 스펙트럼 반경을 제어함으로써 기울기 흐름을 안정화시켜 깊은 RNN에서의 성공을 설명할 수 있었다.