[논문 리뷰] A Note on Lazy Training in Supervised Differentiable Programming

Lénaïc Chizat, Francis Bach|arXiv (Cornell University)|2018. 12. 05.

Machine Learning and ELM인용 수 87

한 줄 요약

이 논문은 오버파ram터화된 신경망에서 레이지 트레이닝이 과도한 파라미터화 그 자체보다는 초기화 주변에서 모델을 선형화하는 스케일링 선택 덕분에 커널 회귀로 효과적으로 축소됨을 보여준다. 저자들은 이 행동이 모델 크기보다는 가중치 초기화 스케일링에서 기인함을 보이며, 이는 고차원 과제에서 딥 러닝의 성공을 설명하기에는 거의 확률성이 없다고 주장한다.

ABSTRACT

In a series of recent theoretical works, it has been shown that strongly over-parameterized neural networks trained with gradient-based methods could converge linearly to zero loss, with their parameters hardly varying. In this note, our goal is to exhibit the simple structure that is behind these results. In a simplified setting, we prove that lazy training essentially solves a kernel regression. We also show that this behavior is not so much due to over-parameterization than to a choice of scaling, often implicit, that allows to linearize the model around its initialization. These theoretical results complemented with simple numerical experiments make it seem unlikely that lazy training is behind the many successes of neural networks in high dimensional tasks.

연구 동기 및 목표

• 경사 기반 학습에서 오버파라미터화된 신경망의 선형 수렴의 근본적인 구조적 이유를 규명하는 것.
• 오버파라미터화인지 가중치 스케일링이 레이지 트레이닝 행동을 가능하게 하는 핵심 요인인지 명확히 하는 것.
• 간단한 설정에서 레이지 트레이닝이 커널 리지 회귀와 동치임을 보여주는 것.
• 레이지 트레이닝이 고차원 과제에서 딥 러닝의 성공을 설명할 수 있다는 가정을 도전하는 것.

제안 방법

• 경사 기반 최적화를 적용한 단순화된 신경망 설정 분석.
• 초기 가중치 값 주변에서 모델을 선형화하는 가중치 초기화에 스케일링 인자 도입.
• 학습 동역학이 커널 리지 회귀와 수학적으로 동치가 되는 것을 증명.
• 이론적 분석을 통해 선형화가 오버파라미터화 때문이 아니라 스케일링 때문임을 보여주는 것.
• 이론적 결과를 검증하기 위해 최소한의 수치 실험 수행.
• 초기화 스케일링의 영향을 분리하기 위해 다양한 스케일링 영역에서 모델의 행동을 비교하는 것.

실험 결과

연구 질문

• RQ1 경사 학습에서 오버파라미터화된 신경망의 선형 수렴을 뒷받침하는 구조적 특성은 무엇인가?
• RQ2 레이지 트레이닝 행동의 주요 동력은 오버파라미터화인지 가중치 스케일링인가?
• RQ3 간단한 설정에서 레이지 트레이닝이 어느 정도까지 커널 회귀로 축소되는가?
• RQ4 레이지 트레이닝과 커널 방법 간의 동치성은 공식적으로 확립될 수 있는가?
• RQ5 왜 레이지 트레이닝은 고차원 과제에서 신경망의 성공을 설명하기 어려운가?

주요 결과

• 오버파라미터화된 네트워크에서의 레이지 트레이닝은 초기 가중치 스케일링으로 인해 초기화 주변에서 모델이 선형화되는 데 기인한다.
• 이 영역에서의 학습 동역학은 신경접선 커널을 사용한 커널 리지 회귀와 수학적으로 동치이다.
• 손실이 0으로 수렴하는 것은 모델의 오버파라미터화 때문이 아니라 초기화 스케일링의 선택 덕분이다.
• 수치 실험을 통해 특정 스케일링 조건 하에서도 최소한의 오버파라미터화에서도 선형화된 행동이 유지됨을 확인했다.
• 커널 회귀와의 동치성은 모델의 성능이 커널 방법에 의해 제한되며, 고차원 과제에서 일반화 능력이 제한됨을 시사한다.
• 결과적으로, 레이지 트레이닝은 복잡한 고차원 학습 문제에서 딥 신경망의 경험적 성공의 메커니즘이 되기 어려울 것임을 암시한다.