[논문 리뷰] Shape Matters: Understanding the Implicit Bias of the Noise Covariance

Jeff Z. HaoChen, Colin Wei외 2명|arXiv (Cornell University)|2020. 06. 15.

Machine Learning and Data Classification인용 수 2

한 줄 요약

이 논문은 과다매개변수 모델에서 파라미터에 의존하는 노이즈—예를 들어 SGD에서의 레이블 노이즈—가 구조적 노이즈가 아닌 구형 가우시안 노이즈와는 달리 희박한 해로의 암묵적 편향을 유도함을 보여준다. 저자들은 이차적으로 매개변수화된 모델을 이론적으로 분석하여, 레이블 노이즈가 임의의 초기화로부터 진짜 희박한 모델을 복원할 수 있음을 보이고, 반면 가우시안 노이즈 또는 경사하강법은 실패함을 밝힌다.

ABSTRACT

The noise in stochastic gradient descent (SGD) provides a crucial implicit regularization effect for training overparameterized models. Prior theoretical work largely focuses on spherical Gaussian noise, whereas empirical studies demonstrate the phenomenon that parameter-dependent noise -- induced by mini-batches or label perturbation -- is far more effective than Gaussian noise. This paper theoretically characterizes this phenomenon on a quadratically-parameterized model introduced by Vaskevicius et el. and Woodworth et el. We show that in an over-parameterized setting, SGD with label noise recovers the sparse ground-truth with an arbitrary initialization, whereas SGD with Gaussian noise or gradient descent overfits to dense solutions with large norms. Our analysis reveals that parameter-dependent noise introduces a bias towards local minima with smaller noise variance, whereas spherical Gaussian noise does not. Code for our project is publicly available.

연구 동기 및 목표

• 과다매개변수 모델에서 파라미터에 의존하는 노이즈(예: 레이블 노이즈)가 구형 가우시안 노이즈보다 암묵적 정규화에 더 효과적인 이유를 이해한다.
• SGD에서 노이즈 공분산의 암묵적 편향을 조사하며, 특히 그것이 희박한 해와 조밀한 해로의 수렴에 어떻게 影향을 미치는지 분석한다.
• SGD에 레이블 노이즈를 적용했을 때 진짜 희박한 기저 진실 모델을 복원할 수 있는 조건을 이론적으로 규명한다.
• 과다매개변수 환경에서 레이블 노이즈를 적용한 SGD와 가우시안 노이즈 또는 경사하강법의 최적화 역학을 대조한다.
• 노이즈 분산 최소화가 파라미터에 의존하는 노이즈의 암묵적 편향을 이끄는 핵심 메커니즘임을 드러낸다.

제안 방법

• 저자들은 Vaskevicius 등과 Woodworth 등이 도입한 이차적으로 매개변수화된 모델을 분석하며, 최적화 역학을 정확하게 기술할 수 있도록 한다.
• SGD의 노이즈를 파라미터에 의존하는 것으로 모델링하며, 특히 레이블 편향을 통해 기술하고, 이를 구형 가우시안 노이즈와 비교한다.
• 다른 노이즈 구조 하에서 최적화 궤적의 극한 행동을 연구함으로써 SGD의 암묵적 편향을 분석한다.
• 이론적 유도 결과로, 파라미터에 의존하는 노이즈가 더 낮은 노이즈 분산을 가진 국소 최소값으로의 편향을 유도함을 보여준다.
• 동일한 초기화와 모델 아키텍처 조건 하에서 희박한 해와 조밀한 해로의 수렴을 비교할 수 있는 프레임워크를 제공한다.
• 장기적인 SGD 행동을 분석하기 위해 확률적 근사 이론과 암묵적 정규화 이론의 도구를 활용한다.

실험 결과

연구 질문

• RQ1 왜 과다매개변수 모델에서 파라미터에 의존하는 노이즈가 구형 가우시안 노이즈보다 더 나은 일반화를 이끌어내는가?
• RQ2 SGD에 레이블 노이즈를 적용했을 때, 임의의 초기화로부터도 진짜 희박한 기저 진실 모델을 복원할 수 있는가?
• RQ3 노이즈 공분산의 구조가 과다매개변수 환경에서 SGD의 암묵적 편향에 어떻게 영향을 미치는가?
• RQ4 국소 노이즈 분산은 SGD 최적화 궤적의 형상에 어떤 역할을 하는가?
• RQ5 레이블 노이즈의 암묵적 정규화 효과를 경사하강법 또는 가우시안 노이즈의 효과와 이론적으로 구별할 수 있는가?

주요 결과

• SGD에 레이블 노이즈를 적용하면 과다매개변수 설정에서 임의의 초기화로부터도 진짜 희박한 기저 진실 모델을 성공적으로 복원한다.
• 반면, 구형 가우시안 노이즈를 사용한 SGD 또는 경사하강법은 조밀한 해로 수렴하며, 파라미터 노름이 크다.
• 파라미터에 의존하는 노이즈의 암묵적 편향은 더 낮은 노이즈 분산을 가진 국소 최소값으로의 편향을 유도하며, 이는 희박성과 관련이 있다.
• 구형 가우시안 노이즈는 낮은 노이즈 분산 해로의 편향을 유도하지 않아, 그 정규화 효과가 약한 것을 설명한다.
• 이론적 분석은 노이즈 공분산의 구조—특히 그 파라미터 의존성—가 효과적인 암묵적 정규화를 유도하는 데 핵심적임을 확인한다.
• 결과적으로, 레이블 노이즈와 미니배치 노이즈의 딥러닝에서의 경험적 성공에 대한 메커니즘 수준의 설명을 제공한다.