[논문 리뷰] Implicit Bias of SGD for Diagonal Linear Networks: a Provable Benefit of Stochasticity

Scott Pesme, Loucas Pillaud‐Vivien외 1명|arXiv (Cornell University)|2021. 06. 17.

Stochastic Gradient Optimization Techniques인용 수 7

한 줄 요약

이 논문은 대각선 선형 네트워크에서 확률적 경사 하강 흐름(SGF)이 경사 하강 흐름(GF)보다 명시적인 편향을 더 잘 갖는다는 것을 증명한다. 이는 확률성에서 유래하는 구조적 노이즈 덕분이며, 훈련 손실의 수렴 속도가 느릴수록 일반화 성능이 향상되는 경향이 있다. 이는 엄밀한 수렴 보장과 실험적 검증을 통해 뒷받ukkan다.

ABSTRACT

Understanding the implicit bias of training algorithms is of crucial importance in order to explain the success of overparametrised neural networks. In this paper, we study the dynamics of stochastic gradient descent over diagonal linear networks through its continuous time version, namely stochastic gradient flow. We explicitly characterise the solution chosen by the stochastic flow and prove that it always enjoys better generalisation properties than that of gradient flow. Quite surprisingly, we show that the convergence speed of the training loss controls the magnitude of the biasing effect: the slower the convergence, the better the bias. To fully complete our analysis, we provide convergence guarantees for the dynamics. We also give experimental results which support our theoretical claims. Our findings highlight the fact that structured noise can induce better generalisation and they help explain the greater performances observed in practice of stochastic gradient descent over gradient descent.

연구 동기 및 목표

• 과도하게 파aram터화된 설정에서 명시적 정규화 없이도 확률적 경사 하강법(SGD)이 경사 하강법(GD)보다 일반화 성능이 뛰어나지 않는 이유를 이해한다.
• 딥 네트워크의 핵심 성질을 반영하는 간단한 모델인 대각선 선형 네트워크에서 확률적 경사 하강 흐름(SGF)의 암묵적 편향을 규명한다.
• SGF가 명시적 정규화 없이도 GF보다 더 나은 일반화 성능을 보이는 해로 수렴함을 확립한다.
• 훈련 손실의 수렴 속도가 SGF에서 유도되는 암묵적 편향의 강도에 어떻게 영향을 주는지 정량화한다.
• 연속 시간 프레임워크에서 SGF 동역학이 영속적인 손실 해로의 수렴을 고확률적으로 보장한다.

제안 방법

• SGD를 연속 시간 모델인 확률적 경사 하강 흐름(SGF)으로 모델링하고, Itô 미적분을 사용하여 확률적 동역학을 포착한다.
• 손실 표면에서 유도된 잠재 함수를 갖는 시간에 따라 변하는 확률적 미러 강하로 동역학을 분석한다.
• Itô 미적분을 사용하여 확률 과정의 정확한 표현식을 유도하며, 마팅게일 항의 이차 변동성을 포함한다.
• 집중 불등식(예: Dubins-Schwarz 및 Doob의 최대 불등식)을 적용하여 확률적 이탈 항을 bound한다.
• Lambert W 함수와 로그 불등식을 활용하여 해 경로와 수렴 속도에 대한 상한을 도출한다.
• 데이터 및 초기화에 대한 약한 가정 하에 반복값이 영속적인 손실 해로 고확률 수렴함을 증명한다.

실험 결과

연구 질문

• RQ1 SGD의 암묵적 편향이 대각선 선형 네트워크에서 GD와 다를까?
• RQ2 SGD의 확률성이 일반화 최적 해의 선택에 어떻게 영향을 주는가?
• RQ3 훈련 손실의 수렴 속도를 SGF의 암묵적 편향의 강도와 연결할 수 있는가?
• RQ4 구조적 노이즈(i.i.d. 노이즈가 아닌)가 SGF의 해 경로 형성에 어떤 역할을 하는가?
• RQ5 이 설정에서 SGF에 대해 고확률 수렴이 영속적인 손실 해로 엄밀히 확립될 수 있는가?

주요 결과

• 확률적 경사 하강 흐름(SGF)은 고확률적으로 GF가 선택한 해보다 더 나은 일반화 성능을 보이는 영속적인 손실 해로 수렴한다.
• SGF의 암묵적 편향의 크기는 수렴 속도의 역수이다: 수렴 속도가 느릴수록 더 나은 일반화 해로의 편향이 강해진다.
• SGF의 암묵적 편향은 엄밀히 유리하며, 해 경로는 희박 회귀 과제에서 GD보다 한 계단 이상 뛰어난 희박화 효과를 보인다.
• 데이터 및 초기화에 대한 약한 가정 하에, 구조적 노이즈가 존재하더라도 SGF가 영속적인 손실 해로의 고확률 수렴을 확립한다.
• 이론적 분석은 확률적 동역학이 시간에 따라 변하는 확률적 미러 강하를 따르며, 노이즈 구조가 해의 형성에 핵심적인 역할을 한다는 것을 드러낸다.
• 실험 결과는 SGD가 GD보다 훨씬 낮은 검증 손실을 회복함을 확인하였으며, 특히 희박 초기화 조건에서 이론적 주장이 검증됨을 입증한다.