[논문 리뷰] Training Very Deep Networks

Rupesh K. Srivastava, Klaus Greff외 1명|arXiv (Cornell University)|2015. 07. 22.

Advanced Neural Network Applications참고 문헌 23인용 수 1,100

한 줄 요약

이 논문은 학습 가능한 게이팅 유닛을 갖춘 깊은 잔차 구조인 하이웨이 네트워크를 소개한다. 이는 수백 층에 걸쳐 정보가 차단 없이 흐르도록 해주며, LSTM에 영감을 받은 적응형 게이팅 메커니즘을 사용해 표준 확률적 경사 하강법을 통한 직접 학습이 가능하게 하여 매우 깊은 네트워크에서의 기울기 소실 문제를 해결한다.

ABSTRACT

Theoretical and empirical evidence indicates that the depth of neural networks is crucial for their success. However, training becomes more difficult as depth increases, and training of very deep networks remains an open problem. Here we introduce a new architecture designed to overcome this. Our so-called highway networks allow unimpeded information flow across many layers on information highways. They are inspired by Long Short-Term Memory recurrent networks and use adaptive gating units to regulate the information flow. Even with hundreds of layers, highway networks can be trained directly through simple gradient descent. This enables the study of extremely deep and efficient architectures.

연구 동기 및 목표

• 기울기 소실 문제와 최적화의 어려움으로 인해 매우 깊은 신경망을 훈련시키는 데 발생하는 과제를 해결하기 위해.
• 수백 층의 네트워크를 안정적이고 효율적으로 훈련시킬 수 있는 네트워크 아키텍처를 설계하기 위해.
• 적응형 게이팅을 통해 층 간에 차단 없는 정보 흐름을 가능하게 하는 메커니즘을 도입하기 위해.
• 잔차 연결이나 스킵 연결 없이도 표준 역전파 알고리즘을 사용해 극도로 깊은 아키텍처를 직접 훈련시킬 수 있도록 하기 위해.

제안 방법

• 정보 흐름을 제어하는 학습 가능한 게이팅 유닛을 갖춘 하이웨이 네트워크를 도입한다.
• 입력이 얼마나 그대로 통과되는지를 결정하는 게이트가 있는 LSTM과 유사한 게이팅 메커니즘을 사용한다.
• 선형 변환과 게이팅된 신뢰도 스킵 연결의 조합으로 변환을 정의한다: H(x) = x * T(x) + H(x) * (1 - T(x)), 여기서 T(x)는 변환 게이트이다.
• 아키텍처 수정 없이도 엔드 투 엔드 훈련을 위해 표준 역전파와 확률적 경사 하강법을 사용한다.
• 다중 스택된 층에 하이웨이 유닛을 적용하여 잔차와 유사한 행동을 보이는 깊은 아키텍처를 가능하게 한다.

실험 결과

연구 질문

• RQ1 표준 최적화 방법을 사용해 수백 층의 매우 깊은 신경망을 효과적으로 훈련시킬 수 있는가?
• RQ2 기울기 소실 문제를 방지하기 위해 수백 층에 걸쳐 정보 흐름을 어떻게 유지할 수 있는가?
• RQ3 적응형 게이팅 메커니즘이 잔차 연결을 대체하거나 능가할 수 있는가?
• RQ4 기본적인 깊은 네트워크와 비교해 하이웨이 네트워크의 성능과 안정성은 어떠한가?

주요 결과

• 하이웨이 네트워크는 잔차 연결 없이도 표준 확률적 경사 하강법을 사용해 100 층이 넘는 네트워크를 성공적으로 훈련시켰다.
• 극도의 깊이에서도 안정적인 훈련 동역학을 보이며 기울기 소실 문제에 대한 강건성을 입증했다.
• 이미지 분류 작업에서 높은 성능을 유지하여 제안된 게이팅 메커니즘을 통해 깊은 아키텍처를 효과적으로 훈련시킬 수 있음을 보여주었다.
• 적응형 게이트의 사용은 효율적인 정보 흐름을 가능하게 하여 네트워크가 복잡한 표현을 저하 없이 학습할 수 있도록 했다.