[논문 리뷰] Neural networks: from the perceptron to deep nets

Marylou Gabrié, Surya Ganguli외 2명|arXiv (Cornell University)|2023. 04. 13.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 통계역학, 특히 복제 방법과 동역학계 이론을 활용하여 퍼셉트론에서부터 딥 네트워크에 이르기까지 신경망의 일반화 및 학습 동역학을 이해하는 데 초점을 맞춘다. 과다 매개변수화된 모델에서 일반화를 설명하는 데 기여하는 복제 대칭성 붕괴, 신호 전파, 동역학적 등장성 개념의 역할을 강조하며, 이는 매우 깊은 네트워크의 학습을 가능하게 하고, 비평형 확산 과정과 현대 생성형 AI 모델 간의 연결고리를 제공한다.

ABSTRACT

Artificial networks have been studied through the prism of statistical mechanics as disordered systems since the 80s, starting from the simple models of Hopfield's associative memory and the single-neuron perceptron classifier. Assuming data is generated by a teacher model, asymptotic generalisation predictions were originally derived using the replica method and the online learning dynamics has been described in the large system limit. In this chapter, we review the key original ideas of this literature along with their heritage in the ongoing quest to understand the efficiency of modern deep learning algorithms. One goal of current and future research is to characterize the bias of the learning algorithms toward well-generalising minima in a complex overparametrized loss landscapes with many solutions perfectly interpolating the training data. Works on perceptrons, two-layer committee machines and kernel-like learning machines shed light on these benefits of overparametrization. Another goal is to understand the advantage of depth while models now commonly feature tens or hundreds of layers. If replica computations apparently fall short in describing general deep neural networks learning, studies of simplified linear or untrained models, as well as the derivation of scaling laws provide the first elements of answers.

연구 동기 및 목표

• 퍼셉트론과 호프필드 네트워크와 같은 초기 모델에서 현대 딥 러닝에 이르기까지 통계역학적 접근법의 진화를 추적하는 것.
• 복제 대칭성 붕괴와 동역학적 평균장 이론이 손실 곡면의 기하학성과 최적화가 일반화 가능한 해로 향하는 편향을 어떻게 밝혀내는지 설명하는 것.
• 신호 전파와 초기화 기법(예: 동역학적 등장성)이 매우 깊은 네트워크(예: 10,000층 모델 포함)의 학습을 가능하게 하는 방식을 조사하는 것.
• 비평형 통계역학 원리가 이미지 합성에 사용되는 현대적 확산 기반 생성 모델 설계에 어떻게 활용될 수 있는지 연결하는 것.
• 신경망 스케일링 법칙의 이론적 기반을 분석하고, 지능적인 데이터 프루닝을 통해 기존의 거듭제곱 법칙 스케일링을 초월할 수 있는가를 탐구하는 것.

제안 방법

• 고차원 극한에서의 일반화 오차의 점근적 계산을 위해 복제 방법을 적용하여 퍼셉트론과 위원회 기계에서의 성능을 분석한다.
• 비볼록이고 고차원적인 손실 곡면에서 온라인 및 확률적 경사하강법의 동역학을 분석하기 위해 동역학적 평균장 이론을 사용한다.
• 자유 확률 이론을 활용해 깊은 무작위 가중치 행렬의 특이값 스펙트럼을 계산하고, 이로 인해 동역학적 등장성 초기화를 유도한다.
• 고차원 공간에서의 비평형 확산 과정을 분석하여 스코어 기반 확산 모델을 통한 생성 모델링을 모델링한다.
• 비정규 분포 및 프루닝된 데이터 분포에 대한 복제 계산을 적용하여 거듭제곱 법칙을 초월하는 테스트 오차 스케일링을 연구한다.
• 일반화 오차를 시스템 매개변수의 함수로 나타내는 통계역학적 학습 모델을 사용하여 모델 크기와 데이터 크기의 스케일링 법칙을 유도한다.

실험 결과

연구 질문

• RQ1 복제 대칭성 붕괴는 과다 매개변수화된 설정에서 비볼록 분류기의 일반화 능력을 어떻게 설명하는가?
• RQ2 동역학적 등장성은 매우 깊은 신경망의 학습을 가능하게 하는 데 어떤 역할을 하는가?
• RQ3 비평형 통계역학 원리를 활용해 효과적인 이미지 합성용 생성 모델을 설계할 수 있는가?
• RQ4 데이터, 모델 크기, 계산 자원에 대한 관측된 신경망 스케일링 법칙의 이론적 근원은 무엇인가?
• RQ5 지능적인 데이터 프루닝을 통해 기존의 거듭제곱 법칙 스케일링을 초월하는 오차 스케일링 행동을 달성할 수 있는가?

주요 결과

• 복제 방법에 따르면, 단일층 퍼셉트론은 일반화 오차가 급격히 증가하기 전까지 약 0.14N개의 무작위 패턴을 저장할 수 있다.
• 복제 대칭성 붕괴는 비볼록 분류기의 손실 곡면이 일반화 성능이 좋은 해에 해당하는 준안정 상태를 포함하고 있음을 드러낸다.
• 직교 가중치와 특정 비선형성의 조합을 통해 도출된 동역학적 등장성 초기화 방법은 정규화층 없이도 10,000층의 깊은 네트워크 학습을 가능하게 한다.
• 확산 기반 생성 모델은 비평형 통계역학에 기반하며, 신경망이 노이즈 추가 과정을 역행함으로써 현실적인 이미지를 생성하는 방식으로 동작한다.
• 복제 계산 결과, 좋은 데이터 프루닝 지표를 사용할 경우 테스트 오차가 거듭제곱 법칙이 아닌 지수적으로 감소함을 확인하였으며, 이는 기존 스케일링 법칙을 뛰어넘는 성능을 보였다.
• 신경망 스케일링 법칙은 데이터 크기, 모델 크기 또는 계산 자원에 대해 테스트 오차가 거듭제곱 법칙으로 감소하는 경향을 보이지만, 체계적인 데이터 선택을 통해 이를 향상시킬 수 있다.