[논문 리뷰] Comparing Dynamics: Deep Neural Networks versus Glassy Systems

Marco Baity‐Jesi, Levent Sagun외 7명|2018. 03. 19.

Time Series Analysis and Forecasting인용 수 20

한 줄 요약

이 논문은 통계역학적 방법을 사용하여 과다 매개변수화된 딥 네ural 네트워크(DNNs)의 학습 동역학을 유리성 시스템과 비교한다. DNNs는 손실 함수의 저면에서 점점 증가하는 평탄한 방향성 덕분에 느리고 확산적인 동역학을 보이며, 장벽을 넘는 일은 일어나지 않는데, 이는 평균장 유리성 시스템과는 다소 유사한 노화 행동을 보이지만 그들과는 구별된다.

ABSTRACT

We analyze numerically the training dynamics of deep neural networks (DNN) by using methods developed in statistical physics of glassy systems. The two main issues we address are (1) the complexity of the loss landscape and of the dynamics within it, and (2) to what extent DNNs share similarities with glassy systems. Our findings, obtained for different architectures and datasets, suggest that during the training process the dynamics slows down because of an increasingly large number of flat directions. At large times, when the loss is approaching zero, the system diffuses at the bottom of the landscape. Despite some similarities with the dynamics of mean-field glassy systems, in particular, the absence of barrier crossing, we find distinctive dynamical behaviors in the two cases, showing that the statistical properties of the corresponding loss and energy landscapes are different. In contrast, when the network is under-parametrized we observe a typical glassy behavior, thus suggesting the existence of different phases depending on whether the network is under-parametrized or over-parametrized.

연구 동기 및 목표

• 딥 네ural 네트워크(DNNs)가 손실 함수 탐색 과정에서 유리성 시스템과 유사한 동역학적 성질을 가지는지 조사하기.
• 과다 매개변수화가 부족 매개변수화된 네트워크와 비교해 손실 함수의 통계적 성질을 어떻게 변화시키는지 규명하기.
• 손실 함수의 장벽을 넘는지 여부를 통계역학적 비정질 시스템의 방법을 통해 DNN 학습 과정에서 분석하기.
• DNN에서 관찰되는 노화 동역학과 느린 회복 현상이 유리성 유사 행동 때문인지, 아니면 과다 매개변수화와 관련된 독특한 메커니즘 때문인지 규명하기.
• 네트워크 용량과 함수 구조에 기반해 쉬운 학습 영역과 어려운 학습 영역 사이의 상전이 존재 여부 탐색하기.

제안 방법

• 다양한 아키텍처와 데이터셋을 사용한 확률적 경사하강법(SGD)을 통한 DNN 학습 동역학의 수치적 분석.
• 유리성 시스템의 통계역학 방법 적용, 시간 상관 함수 및 평균 제곱 변위 분석 포함.
• 노화 행동 탐지 및 유리성과 비유리성 동역학을 구분하기 위해 시간에 의존하는 상관 함수 $\Delta(t_w, t_w + t)$ 사용.
• 모델 A의 노드 수를 줄여 과다 매개변수화된 네트워크와 부족 매개변수화된 네트워크의 손실 함수 구조 비교.
• 작은 시간에서의 평균 제곱 변위의 수렴을 통해 에드워즈-애너드 파라미터 및 국소 최소값에 갇힘 상태 분석.
• 큰 $t_w$에서 상관 함수 $\Delta(t_w, t_w + t)$의 형태를 분석하여 DNN과 평균장 유리성 시스템 간의 정성적 차이 평가.

실험 결과

연구 질문

• RQ1 과다 매개변수화된 DNN의 학습 동역학이 평균장 유리성 시스템과 어느 정도 유사한가?
• RQ2 DNN에서 장벽을 넘는 일이 일어나지 않는다는 점이, 유리성 시스템과는 본질적으로 다른 손실 함수의 통계적 구조를 반영하는가?
• RQ3 과다 매개변수화가 DNN에서 평탄한 방향성의 출현과 그로 인한 느린 동역학에 어떤 영향을 미치는가?
• RQ4 DNN에서 '쉬운 학습 단계'(과다 매개변수화)와 '어려운 학습 단계'(부족 매개변수화) 사이에 상전이가 존재하는가?
• RQ5 DNN의 동역학적 행동이 국소 최소값에 갇혀 있는 유리성적 포획이 아니라 넓고 평탄한 기울기의 골짜기 영역에 기인하는가?

주요 결과

• 학습 과정에서 DNNs는 점점 증가하는 평탄한 방향성으로 인해 느려지며, 손실 함수의 저면에서 확산적인 동역학을 보인다.
• 장벽을 넘는 일은 DNN 학습에서 중요한 역할을 하지 않으며, 깊은 국소 최소값에 갇혀 있는 현상과 일관된다.
• 과다 매개변수화된 네트워크에서는 시스템이 근처의 영역으로 손실이 0에 수렴하며, 노화 유사 동역학을 보이지만 평균장 유리성 시스템과는 통계적 성질에서 다소 다름을 보인다.
• 네트워크가 부족 매개변수화된 경우, 작은 시간에서 평균 제곱 변위가 수렴하고 $t_w$에 따라 증가함을 보이며, 갇힘과 유리성의 노화 행동을 나타낸다.
• 부족 매개변수화된 네트워크의 손실 함수는 0에 도달하지 못하고 점 渐진적으로 더 높은 값으로 수렴함을 보이며, 일반화 성능이 열악하거나 수렴 속도가 느림을 시사한다.
• 저자들은 '쉬운 단계'(과다 매개변수화, 평탄한 손실 함수, 빠른 학습)와 '어려운 단계'(부족 매개변수화, 거친 손실 함수, 유리성 동역학) 사이에 상전이가 존재한다고 추측하며, 이는 조합 최적화 문제의 상전이와 유사하다.