[논문 리뷰] An analytic theory of shallow networks dynamics for hinge loss classification

Franco Pellegrini, Giulio Biroli|arXiv (Cornell University)|2020. 06. 19.

Neural Networks and Applications참고 문헌 37인용 수 5

한 줄 요약

이 논문은 이진 분류에서 힌지 손실을 가진 얕은 신경망의 학습 동역학을 위한 분석적 평균장 이론을 개발한다. 시간에 따라 변하는 데이터를 갖는 자기일관성 있는 단일 노드 문제로 네트워크를 매핑하여, 선형적으로 분리 가능한 구형 대칭 데이터에서 매개변수의 진동을 분석적으로 해결한다. 이는 빈약한 학습과 게으른 학습의 전이를 드러내며, 유한한 크기 보정을 통해 오버피팅과 잘못된 레이블링 효과를 정량화한다.

ABSTRACT

Neural networks have been shown to perform incredibly well in classification tasks over structured high-dimensional datasets. However, the learning dynamics of such networks is still poorly understood. In this paper we study in detail the training dynamics of a simple type of neural network: a single hidden layer trained to perform a classification task. We show that in a suitable mean-field limit this case maps to a single-node learning problem with a time-dependent dataset determined self-consistently from the average nodes population. We specialize our theory to the prototypical case of a linearly separable dataset and a linear hinge loss, for which the dynamics can be explicitly solved. This allow us to address in a simple setting several phenomena appearing in modern networks such as slowing down of training dynamics, crossover between rich and lazy learning, and overfitting. Finally, we asses the limitations of mean-field theory by studying the case of large but finite number of nodes and of training samples.

연구 동기 및 목표

• 힌지 손실을 가진 얕은 신경망의 학습 동역학을 위한 실용적인 분석 이론을 개발하기 위해.
• 해결 가능한 설정에서 빈약한 학습과 게으른 학습의 상호작용을 이해하기 위해.
• 유한한 너비와 유한한 샘플 수를 가진 네트워크에서 오버피팅과 잘못된 레이블링 효과를 정량화하기 위해.
• 현실적인 설정에서의 평균장 근사의 붕괴를 연구함으로써 평균장 근사를 검증하기 위해.

제안 방법

• 큰 M 근사에서 노드 집단의 평균을 취해 매개변수 동역학에 대한 평균장 방정식을 유도한다.
• 평균 노드 집단에 의해 결정되는 자기일관성 있는 효과적 데이터 분포를 사용한다.
• 선형 힌지 손실을 가진 선형적으로 분리 가능한 구형 대칭 데이터에서 동역학을 분석적으로 해결한다.
• 가우시안 적분과 경험적 평균을 사용하여 평균장 이론의 유한한 크기 보정을 계산한다.
• 오차 레이블링을 왜곡으로 도입하여 그 영향이 동역학과 오버피팅에 미치는 영향을 연구한다.
• 수치 시뮬레이션을 통해 검증하고 실제 학습 런에서의 경험적 데이터와 비교한다.

실험 결과

연구 질문

• RQ1 얕은 네트워크에서 힌지 손실을 가진 학습 동역학은 평균장 근사에서 어떻게 행동하는가?
• RQ2 선형적으로 분리 가능한 구형 대칭 데이터셋에서 매개변수 진동의 분석적 형태는 무엇인가?
• RQ3 이 설정에서 빈약한 학습과 게으른 학습의 전이가 어떻게 발생하고 전이되는가?
• RQ4 유한한 너비와 유한한 샘플 수를 가진 네트워크에서 오버피팅은 무엇으로 인해 발생하며, 어떻게 정량화할 수 있는가?
• RQ5 오류 레이블링은 동역학에 어떤 영향을 미치며 오버피팅을 어떻게 가속화하는가?

주요 결과

• 평균장 이론은 전체 네트워크 동역학을 시간에 따라 변하는 데이터를 가진 단일 노드 문제로 매핑하여 분석적 해법을 가능하게 한다.
• 매개변수 노름의 시간 진동과 데이터 방향에 대한 정렬을 통해 빈약한 학습과 게으른 학습의 전이가 분석적으로 기술된다.
• 오버피팅은 데이터 분포의 유한한 크기 변동으로 인해 발생하며, √(d−1)fU/(2N) 비례하는 항으로 정량화된다. 여기서 fU(t)는 만족하지 못한 예제의 비율이다.
• 오류 레이블링은 지속적인 반대 방향의 기울기 항을 도입하여 학습 속도를 늦추고 오버피팅을 가속화한다.
• 평균장 이론의 유한한 크기 보정은 오버피팅의 시작 시점과 가중치 성분의 동역학을 정확히 예측한다.
• 수치 시뮬레이션은 분석 예측을 확인하며, 초기 학습 단계에서는 양호한 일치를 보이고 오버피팅 영역에서는 발산을 보인다.