[논문 리뷰] Highway Networks

Rupesh K. Srivastava, Klaus Greff외 1명|arXiv (Cornell University)|2015. 05. 03.

Advanced Neural Network Applications참고 문헌 10인용 수 301

한 줄 요약

Highway Networks는 수백 개의 레이어를 가진 네트워크를 직접 훈련할 수 있도록 학습 가능한 게이팅 유닛을 사용하는 새로운 딥 네ural 네트워크 아키텍처를 소개한다. '하이웨이'를 통해 정보가 방해 없이 흐르도록 하여 기울기 흐름을 안정화함으로써, 다양한 활성화 함수를 사용하는 매우 깊은 아키텍처에서도 확률적 경사 하강법을 효과적으로 적용할 수 있게 한다.

ABSTRACT

There is plenty of theoretical and empirical evidence that depth of neural networks is a crucial ingredient for their success. However, network training becomes more difficult with increasing depth and training of very deep networks remains an open problem. In this extended abstract, we introduce a new architecture designed to ease gradient-based training of very deep networks. We refer to networks with this architecture as highway networks, since they allow unimpeded information flow across several layers on information highways. The architecture is characterized by the use of gating units which learn to regulate the flow of information through a network. Highway networks with hundreds of layers can be trained directly using stochastic gradient descent and with a variety of activation functions, opening up the possibility of studying extremely deep and efficient architectures.

연구 동기 및 목표

• 깊이가 증가함에 따라 점점 더 어려워지는 매우 깊은 신경망의 훈련 문제를 해결하기 위해.
• 깊은 네트워크에서 기울기 흐름을 향상시켜 안정적이고 효율적인 훈련을 가능하게 하기 위해.
• 기울기 소실 또는 폭발 문제 없이 수백 개의 레이어를 지원할 수 있는 확장 가능한 아키텍처를 설계하기 위해.
• 매우 깊은 환경에서 다양한 활성화 함수를 사용한 훈련을 가능하게 하기 위해.

제안 방법

• 각 레이어가 정보 흐름을 제어하는 게이팅 메커니즘을 사용하는 새로운 네트워크 아키텍처를 도입한다.
• 학습 가능한 게이트를 사용하여 입력을 직접 전달할지 또는 비선형 변환을 통해 변환할지 동적으로 결정한다.
• 하이웨이 레이어를 변환된 입력과 게이팅 잔여 경로의 조합으로 정의한다: H(x) = G(x) * T(x) + (1 - G(x)) * x, 여기서 G는 게이트이고 T는 변환이다.
• 게이트와 변환을 함께 최적화하여 전체 네트워크를 확률적 경사 하강법으로 훈련한다.
• 수많은 스택된 레이어에 하이웨이 아키텍처를 적용하여 매우 깊은 네트워크를 구축한다.

실험 결과

연구 질문

• RQ1 표준 최적화 방법을 사용하여 수백 개의 레이어를 가진 매우 깊은 신경망을 효과적으로 훈련시킬 수 있는가?
• RQ2 학습 가능한 게이트의 사용이 깊은 아키텍처에서 기울기 흐름을 어떻게 향상시키는가?
• RQ3 하이웨이 아키텍처는 깊은 환경에서 다양한 활성화 함수에 대해 성능을 유지하는가?
• RQ4 극도로 깊은 깊이에서 하이웨이 네트워크는 일반화 성능이 우수하고 훈련 안정성을 유지할 수 있는가?

주요 결과

• Highway Networks는 확률적 경사 하강법을 사용하여 최대 100층까지의 깊은 아키텍처를 성공적으로 훈련시켰다.
• 이 아키텍처는 ReLU 및 tanh와 같은 다양한 활성화 함수에서도 안정적인 훈련을 가능하게 했다.
• 학습 가능한 게이트의 사용이 기울기 흐름을 크게 향상시켜 기울기 소실 문제를 감소시켰다.
• 극도로 깊은 깊이에도 불구하고 벤치마크 작업에서 경쟁 가능한 성능을 달성했다.