[논문 리뷰] Data-Dependence of Plateau Phenomenon in Learning with Neural Network --- Statistical Mechanical Analysis

Yuki Yoshida, Masato Okada|arXiv (Cornell University)|2020. 01. 10.

Neural Networks and Applications인용 수 13

한 줄 요약

이 논문은 통계역학을 활용해 신경망 학습에서의 플레이토 현상(platau phenomenon)을 분석하며, 입력 데이터 공분산의 고유값 분포에 의해 그 발생 여부가 결정됨을 보여준다. 작은 분산을 가진 고유값을 가진 데이터는 플레이토를 억제하며, 이는 현대 딥러닝에서 이론적 예측에도 불구하고 플레이토가 흔하지 않은 이유를 설명한다.

ABSTRACT

The plateau phenomenon, wherein the loss value stops decreasing during the process of learning, has been reported by various researchers. The phenomenon is actively inspected in the 1990s and found to be due to the fundamental hierarchical structure of neural network models. Then the phenomenon has been thought as inevitable. However, the phenomenon seldom occurs in the context of recent deep learning. There is a gap between theory and reality. In this paper, using statistical mechanical formulation, we clarified the relationship between the plateau phenomenon and the statistical property of the data learned. It is shown that the data whose covariance has small and dispersed eigenvalues tend to make the plateau phenomenon inconspicuous.

연구 동기 및 목표

• 이론적 예측과 현대 딥러닝에서의 플레이토 현상 관찰 빈도 간 괴리 문제를 해결하기 위해.
• 입력 데이터의 통계적 성질이 이중층 신경망의 학습 동역학에 미치는 영향을 조사하기 위해.
• 기존의 통계역학 모델을 i.i.d. 가정을 초월한 일반적인 입력 데이터 분포로 확장하기 위해.
• 플레이토 현상을 완화하거나 악화시키는 특정 데이터 특성들을 규명하기 위해.
• 입력 공분산 행렬의 고유값 스펙트럼에 기반한 거시적 해석을 통해 플레이토 동역학을 설명하기 위해.

제안 방법

• 큰 입력 차원 조건 하에서 이중층 퍼셉트론을 사용한 스터디언-티처 학습 프레임워크를 수립한다.
• 통계역학적 방법을 적용해 고차원 학습 동역학을 저차원 순서 매개변수 시스템으로 축소한다.
• 입력 공분산 행렬의 고유값 분포에만 의존하는 학습 동역학을 위한 거시적 방정식을 유도한다.
• 수치적 통합을 통해 순서 매개변수 시스템을 풀고 일반화 손실 궤적을 분석한다.
• 종료 수렴 속도 대비 느린 손실 감소 기간과 정도를 측정해 플레이토 길이와 높이를 정량화한다.
• 등방성 및 비등방성 구조를 포함한 다양한 입력 공분산 구조 간의 학습 동역학을 비교한다.

실험 결과

연구 질문

• RQ1 입력 데이터 공분산의 고유값 분포는 신경망 학습에서 플레이토 현상의 발생에 어떻게 영향을 미치는가?
• RQ2 이론적 예측에도 불구하고 현대 딥러닝에서 플레이토 현상이 흔하지 않은 이유는 무엇인가?
• RQ3 입력 데이터 스케일(즉, 분산)이 플레이토 길이와 깊이에 어느 정도 영향을 미치는가?
• RQ4 고유값 분포의 고차모멘트(예: 분산 또는 첨도)는 플레이토 특성에 어떻게 영향을 미치는가?
• RQ5 입력 특성의 통계적 성질을 기반으로 한 데이터 전처리를 통해 플레이토 현상을 예측하거나 제어할 수 있는가?

주요 결과

• 플레이토 현상은 네트워크 아키텍처 외에도 입력 데이터 공분산 행렬의 고유값 분포에 의해 강하게 영향을 받는다.
• 작고 산산이 흩어진 고유값(낮은 분산 및 분산된 분포)을 가진 입력 데이터는 플레이토를 짧고 낮게 만들어 눈에 띄지 않게 한다.
• 입력 분산(μ₁)이 감소함에 따라 플레이토 길이가 급격히 증가하며, O(1/μ₁) 스케일을 초월하여 비선형적 영향을 나타내며, 이는 비선형 네트워크에 고유한 특성임을 시사한다.
• 고유값의 두 번째 모멘트를 증가시켜 분포를 넓히면 플레이토 길이가 짧아지고 높이가 낮아져 현상이 완화된다.
• MNIST에서는 플레이토 현상이 존재하지는 않지만, 입력 분산이 낮아(μ₁ ≈ 0.112) 길고 얕은 편이므로 표준 학습 곡선에서는 보이지 않는 것으로 보인다.
• 이 모델은 Saad와 Solla(1995) 및 Riegler와 Biehl(1995)의 이전 연구를 i.i.d. 가정을 초월한 비독립 동일분포가 아닌 입력 데이터로 일반화하며, 학습 동역학이 입력 공분산의 고유값 스펙트럼에만 의존한다는 것을 보여준다.