[논문 리뷰] The Implicit Bias of Depth: How Incremental Learning Drives Generalization

Daniel Gissin, Shai Shalev‐Shwartz외 1명|arXiv (Cornell University)|2019. 09. 26.

Stochastic Gradient Optimization Techniques참고 문헌 19인용 수 12

한 줄 요약

이 논문은 깊이 있는 선형 신경망에서의 점진적 학습 동역학을 체계화하여, 깊이가 크기의 순서로 단계적으로 학습 가능한 특성값 또는 가중치를 허용함으로써 더 단순하고 희소한 해에 대한 암묵적 편향을 유도함을 보여준다. 주요 기여는 동적 깊이 분리 결과이다: 얕은 모델은 점진적 학습을 위해 지수적으로 작은 초기화가 필요로 하지만, 더 깊은 모델은 다항식적으로 작은 초기화만으로도 이를 달성할 수 있으며, 이는 현실적인 학습 설정에서 이 현상이 가능하게 한다.

ABSTRACT

A leading hypothesis for the surprising generalization of neural networks is that the dynamics of gradient descent bias the model towards simple solutions, by searching through the solution space in an incremental order of complexity. We formally define the notion of incremental learning dynamics and derive the conditions on depth and initialization for which this phenomenon arises in deep linear models. Our main theoretical contribution is a dynamical depth separation result, proving that while shallow models can exhibit incremental learning dynamics, they require the initialization to be exponentially small for these dynamics to present themselves. However, once the model becomes deeper, the dependence becomes polynomial and incremental learning can arise in more natural settings. We complement our theoretical findings by experimenting with deep matrix sensing, quadratic neural networks and with binary classification using diagonal and convolutional linear networks, showing all of these models exhibit incremental learning.

연구 동기 및 목표

• 딥 러닝에서 복잡성의 순서로 특징 또는 특이값을 점진적으로 학습하는 동역학 개념을 체계화하는 것.
• 깊이와 초기화 스케일이 선형 모델에서 점진적 학습의 발생에 미치는 영향을 조사하는 것.
• 깊은 모델이 유사한 능력에도 불구하고 얕은 모델보다 더 잘 일반화하는 이유를 설명하는 이론적 기반을 확립하는 것.
• 행렬 감지, 이차 네트워크, 컨볼루션 네트워크를 포함한 다양한 아키텍처에서 점진적 학습을 경험적으로 검증하는 것.

제안 방법

• 최적화 과정에서 특이값 또는 특징 가중치가 크기의 순서로 단계적으로 수렴하는 방식으로 점진적 학습 동역학을 정의한다.
• 단순화된 깊이 있는 선형 모델에서 경사 흐름 동역학을 분석하여 점진적 학습이 발생할 조건을 도출한다.
• 동적 깊이 분리 결과를 증명한다: 얕은 모델은 점진적 학습을 위해 지수적으로 작은 초기화가 필요하지만, 더 깊은 모델은 다항식적으로 작은 초기화만으로도 충분하다.
• 매트릭스 감지, 이차 신경망, 대각 또는 컨볼루션 파arameterization을 가진 선형 네트워크를 통해 이론적 결과를 더 깊은 모델로 확장한다.
• 소규모 데이터셋에서 경사 하강법을 사용한 경험적 학습을 통해 아키텍처 간 점진적 학습을 입증하며, 특이값 또는 푸리에 계수의 변화를 추적한다.
• 푸리에 변환을 통한 컨볼루션 네트워크와 대각 네트워크 간의 연결을 통해, 컨볼루션 네트워크의 동역학이 희소한 해에 대한 암묵적 편향으로 이어지는 것을 연결한다.

실험 결과

연구 질문

• RQ1 깊이 있는 선형 모델에서 점진적 학습은 어떤 조건에서 발생하는가?
• RQ2 모델의 깊이가 점진적 학습을 위해 필요한 초기화 스케일에 어떤 영향을 미치는가?
• RQ3 행렬 감지 및 컨볼루션 네트워크와 같은 실용적 모델에서 점진적 학습 동역학을 관찰할 수 있는가?
• RQ4 최적화 동역학과 희소한 일반화 가능한 해에 대한 암묵적 편향 사이의 관계는 무엇인가?
• RQ5 일반화 능력 측면에서 깊이의 암묵적 편향은 얕은 모델의 그것과 어떻게 비교되는가?

주요 결과

• 얕은 모델(깊이 2)은 점진적 학습 동역학이 발생하기 위해 지수적으로 작은 초기화가 필요하므로, 현실적인 설정에서는 이 현상이 발생하기 어려운 편이다.
• 더 깊은 모델은 다항식적으로 작은 초기화만으로도 점진적 학습을 보이며, 더 자연스러운 학습 환경에서 이 현상이 가능하게 한다.
• 매트릭스 감지, 이차 네트워크, 대각/컨볼루션 선형 네트워크에 대한 경험적 결과는 모두 명확한 점진적 학습을 보이며, 더 큰 특이값 또는 특징 가중치가 먼저 학습된다.
• 이진 분류 작업에서, 작은 가중치로 초기화된 더 깊은 모델은 희소한 진짜 해와 더 강하게 상관되며, 얕은 모델은 최대 마진 해로 수렴한다.
• 컨볼루션 네트워크에서는 주파수 도메인에서 점진적 학습이 관찰되며, 큰 진폭의 푸리에 계수들이 더 작은 것들보다 먼저 학습되며, 이는 대각 네트워크의 동역학과 유사하다.
• 이론적 및 경험적 결과는 깊이의 암묵적 편향이 경사 하강법의 동역학에 기인하며, 크기 순서로 구성 요소를 단계적으로 학습함으로써 더 단순한 해를 선호함을 확인한다.