[논문 리뷰] On the Learning Dynamics of Deep Neural Networks

Rémi Tachet des Combes, Mohammad Pezeshki외 3명|arXiv (Cornell University)|2018. 09. 18.

Stochastic Gradient Optimization Techniques참고 문헌 28인용 수 23

한 줄 요약

이 논문은 선형 분리 가능성과 같은 강한 가정 하에 이진 분류를 위한 딥 네ural 네트워크의 학습 역학을 조사한다. 분류 오차가 시그모이드 곡선을 따른다는 것을 증명하고, 빈번한 특징이 드물지만 유용한 특징의 학습을 방해하는 그래디언트 스터플링 현상을 규명하며, 교차 엔트로피 손실과 허프 손실을 비교하여 일반화 및 학습 실패에 대한 통찰을 제공한다.

ABSTRACT

While a lot of progress has been made in recent years, the dynamics of learning in deep nonlinear neural networks remain to this day largely misunderstood. In this work, we study the case of binary classification and prove various properties of learning in such networks under strong assumptions such as linear separability of the data. Extending existing results from the linear case, we confirm empirical observations by proving that the classification error also follows a sigmoidal shape in nonlinear architectures. We show that given proper initialization, learning expounds parallel independent modes and that certain regions of parameter space might lead to failed training. We also demonstrate that input norm and features' frequency in the dataset lead to distinct convergence speeds which might shed some light on the generalization capabilities of deep neural networks. We provide a comparison between the dynamics of learning with cross-entropy and hinge losses, which could prove useful to understand recent progress in the training of generative adversarial networks. Finally, we identify a phenomenon that we baptize gradient starvation where the most frequent features in a dataset prevent the learning of other less frequent but equally informative features.

연구 동기 및 목표

• 선형 분리 가능성과 같은 강한 가정 하에 딥 비선형 신경망의 학습 역학을 이해하기 위해.
• 비선형 아키텍처에서 관찰된 시그모이드 오차 곡선의 경험적 관측을 설명하기 위해.
• 매개변수 공간 내 문제 영역으로 인해 학습이 실패하는 조건을 규명하기 위해.
• 입력 노름과 특징 빈도가 수렴 속도와 일반화에 미치는 영향을 분석하기 위해.
• GAN 학습과 관련하여 교차 엔트로피 손실과 허프 손실의 학습 역학을 비교하기 위해.

제안 방법

• 선형 분리 가능성의 데이터와 적절한 네트워크 초기화와 같은 강한 가정 하에 이론적 분석을 수행한다.
• 수렴 행동을 분석하기 위해 경사 흐름 근사를 사용한 학습 역학 모델링을 수행한다.
• 기울기의 소실 또는 불안정성으로 인해 학습이 실패하는 매개변수 공간 영역을 식별하기 위해 매개변수 공간 영역을 분석한다.
• 기울기 크기의 이론적 분석을 통해 입력 노름과 특징 빈도가 학습 속도에 미치는 영향을 정량화한다.
• 수렴 및 일반화를 평가하기 위해 분석 도구를 사용하여 교차 엔트로피 손실과 허프 손실의 동역학을 비교한다.

실험 결과

연구 질문

• RQ1 딥 비선형 네트워크의 학습 역학은 선형 모델과 비교해 어떤가 하며, 특히 오차 곡선의 형태 측면에서 어떻게 다를까?
• RQ2 데이터 특징의 빈도는 딥 네트워크의 수렴 속도와 학습 효율성에 어떤 역할을 하는가?
• RQ3 적절한 초기화가 이루어진 상태에서도 일부 매개변수 공간 영역이 학습 실패를 유도하는 이유는 무엇인가?
• RQ4 교차 엔트로피 손실과 허프 손실은 학습 역학과 일반화에 어떤 차이를 미치는가?
• RQ5 그래디언트 스터플링은 무엇을 일으키며, 어떻게 드물지만 중요한 특징의 학습을 방해하는가?

주요 결과

• 비선형 딥 네트워크에서의 학습 중 분류 오차는 시그모이드 형태를 따르며, 이는 경험적 관측을 이론적으로 입증한다.
• 적절한 초기화는 독립적이고 평행한 학습 모드를 가능하게 하여 안정적이고 효율적인 학습 역학을 가능하게 한다.
• 기울기의 소실 또는 불안정성으로 인해 학습이 실패할 수 있는 매개변수 공간의 일부 영역이 존재한다.
• 데이터셋에서 빈도가 높은 특징은 더 빠르게 수렴하며, 이는 드물지만 동일하게 정보적인 특징의 학습을 악영향을 줄 수 있다.
• 빈번한 특징이 기울기를 지배함으로써 드문 특징의 학습이 억제되는 그래디언트 스터플링 현상이 발생한다.
• 교차 엔트로피 손실과 허프 손실은 서로 다른 학습 역학을 보이며, GAN과 같은 모델의 학습 안정성과 성능에 영향을 미친다.