[논문 리뷰] On the Importance of Consistency in Training Deep Neural Networks

Chengxi Ye, Yezhou Yang외 2명|arXiv (Cornell University)|2017. 08. 02.

Model Reduction and Neural Networks참고 문헌 10인용 수 7

한 줄 요약

이 논문은 딥 네ural 네트워크 학습에서 세 가지 일관성 문제—학습 속도 일관성 부족, 입력과 잔차 간 척도 일관성 부족, 잔차 전파의 일관성 부족—을 규명하고, 이를 해결하기 위해 이阶 최적화 방법을 제안한다. 곡률 정보와 새로운 ModU 정규화 레이어를 활용함으로써, 학습을 안정화하고 기울기 소실을 줄이며, MNIST에서 수렴성과 성능이 향상된 더 깊고 안정적인 네트워크를 가능하게 한다.

ABSTRACT

We explain that the difficulties of training deep neural networks come from a syndrome of three consistency issues. This paper describes our efforts in their analysis and treatment. The first issue is the training speed inconsistency in different layers. We propose to address it with an intuitive, simple-to-implement, low footprint second-order method. The second issue is the scale inconsistency between the layer inputs and the layer residuals. We explain how second-order information provides favorable convenience in removing this roadblock. The third and most challenging issue is the inconsistency in residual propagation. Based on the fundamental theorem of linear algebra, we provide a mathematical characterization of the famous vanishing gradient problem. Thus, an important design principle for future optimization and neural network design is derived. We conclude this paper with the construction of a novel contractive neural network.

연구 동기 및 목표

• 딥 네ural 네트워크 학습을 저해하는 세 가지 핵심 일관성 문제—속도 일관성 부족, 척도 일관성 부족, 잔차 전파의 일관성 부족—을 규명하고 해결하는 것.
• 이阶 최적화 방법이 일阶 최적화 방법에 비해 딥 네트워크에서 더 뛰어난 수렴성과 안정성을 제공할 수 있음을 보여주는 것.
• 선형 대수학, 특히 선형 대수학의 기본 정리( fundamental theorem of linear algebra)를 사용하여 기울기 소실 문제를 수학적으로 특성화하는 것.
• ModU 정규화를 사용한 새로운 수축성 신경망 아키텍처를 설계하여 전역 수축성과 향상된 학습 역학을 보장하는 것.
• 기존 SGD 프레임워크에 쉽게 통합할 수 있는 직관적이고 저비용의 이阶 학습 방법을 제공하는 것.

제안 방법

• 곡률 정보를 활용하여 수렴 속도를 향상시키는 단순하고 저비용의 이阶 최적화 방법을 제안하며, 확률적 경사 하강법을 단 한 줄의 코드로 수정한다.
• 레이어 출력의 노름을 단위 노름으로 강제하는 ModU 정규화 레이어를 도입하여 레이어 간 안정적인 신호 전파를 보장한다.
• 이阶 정보를 사용하여 레이어 입력과 잔차 간 척도 일관성 부족 문제를 분석하고 해결함으로써 더 안정적인 최적화를 가능하게 한다.
• 선형 대수학의 기본 정리를 적용하여 기울기 소실 문제를 잔차 역전파 행렬의 영공간 문제로 특성화한다.
• RMS 정규화와 기울기 에너지 분포 분석을 활용하여 레이어 간 오차 감소와 정보 손실을 시각화하고 정량화한다.
• ModU 정규화와 가중치 감소를 조합하여 수축 네트워크를 구축함으로써, MNIST에서 전역 노름 상한을 0.27로 확보함으로써 전역 수축성을 입증한다.

실험 결과

연구 질문

• RQ1 레이어 간 학습 속도 일관성 부족이 딥 네트워크 최적화에 미치는 영향은 무엇이며, 이阶 최적화 방법이 이를 완화할 수 있는가?
• RQ2 레이어 입력과 잔차 간 척도 일관성 부족의 원인은 무엇이며, 이阶 최적화 방법이 이를 해결하는 데 어떻게 기여하는가?
• RQ3 딥 네트워크에서 기울기 소실 문제의 수학적 근본 원인은 무엇이며, 선형 대수학을 사용해 공식적으로 특성화할 수 있는가?
• RQ4 새로운 정규화 레이어(ModU)와 이阶 최적화를 조합하면 더 깊고 안정적이며 정확도가 향상된 네트워크를 얻을 수 있는가?
• RQ5 다양한 활성화 함수와 네트워크 아키텍처는 딥 네트워크에서 오차 감소와 정보 손실 간의 트레이드오프에 어떻게 영향을 미치는가?

주요 결과

• 제안된 이阶 최적화 방법은 곡률 정보를 활용함으로써 학습 속도와 수렴성을 크게 향상시켜 더 빠르고 안정적인 최적화를 가능하게 한다.
• ModU 정규화 레이어는 MNIST에서 전체 네트워크의 노름 상한이 0.27임을 보장하여 전역 수축성과 안정성을 입증한다. 이는 깊이 10층의 네트워크에서도 성립한다.
• 충분한 학습이 이루어지면 더 깊은 네트워크는 더 강력한 오차 감소를 보이지만, 이는 깊이가 증가할수록 기울기 감쇠가 심화되어 상쇄된다.
• ReLU 활성화 함수는 ModU에 비해 더 빠른 오차 감소와 정보 손실를 보이며, ModU는 더 평탄한 기울기 에너지 곡선과 더 나은 안정성을 나타낸다.
• 기울기 소실 문제의 수학적 근본 원인은 잔차 전파 행렬의 영공간 문제이며, 이는 선형 대수학의 기본 정리에 뿌리를 두고 있다.
• 이阶 최적화와 ModU 정규화의 조합은 기존에 오랫동안 지속된 학습 불안정성을 극복하고, 안정적이며 매우 학습 가능한 깊은 네트워크의 학습을 가능하게 한다.