[논문 리뷰] Implicit Gradient Regularization

David G. T. Barrett, Benoît Dherin|arXiv (Cornell University)|2020. 09. 23.

Stochastic Gradient Optimization Techniques참고 문헌 63인용 수 5

한 줄 요약

이 논문은 이산적 업데이트 단계에서 발생하는 경사하강법 내의 암묵적 정규화 형태인 은닉 경사 정규화(IGR)를 소개한다. IGR는 손실 곡면의 더 평탄한 영역을 선호함으로써 날카로운 최소값을 억제한다. 후방 오차 분석을 통해 저자들은 IGR가 손실 기울기 노름의 제곱에 비례하는 정규화 항과 대응됨을 도출하였으며, 실험적으로 이 정규화 항이 낮은 테스트 오차와 향상된 강건성과 상관됨을 보였다. 특히 더 큰 학습률에서 두드러진다.

ABSTRACT

Gradient descent can be surprisingly good at optimizing deep neural networks without overfitting and without explicit regularization. We find that the discrete steps of gradient descent implicitly regularize models by penalizing gradient descent trajectories that have large loss gradients. We call this Implicit Gradient Regularization (IGR) and we use backward error analysis to calculate the size of this regularization. We confirm empirically that implicit gradient regularization biases gradient descent toward flat minima, where test errors are small and solutions are robust to noisy parameter perturbations. Furthermore, we demonstrate that the implicit gradient regularization term can be used as an explicit regularizer, allowing us to control this gradient regularization directly. More broadly, our work indicates that backward error analysis is a useful theoretical approach to the perennial question of how learning rate, model size, and parameter regularization interact to determine the properties of overparameterized models optimized with gradient descent.

연구 동기 및 목표

• 이산적인 수치적 적분에 기인한 기존에 인식되지 않았던 경사하강법 내의 암묵적 정규화 형태를 식별하고 형식화하기.
• 딥 네트워크에서 더 큰 학습률을 사용할수록 발산 위험에도 불구하고 일반화 및 강건성이 향상되는 이유를 설명하기.
• 유도된 정규화 항을 통해 암묵적 정규화 효과를 명시적으로 제어하고 측정할 수 있음을 보여주기.
• 수치적 적분 이론의 후방 오차 분석을 딥 러닝 모델의 일반화 성질과 연결하기.
• IGR가 평탄한 최소값, 낮은 테스트 오차, 향상된 강건성과 상관됨을 검증하기.

제안 방법

• 이산적 경사하강 업데이트 규칙에 후방 오차 분석을 적용하여 이산 궤적을 근사하는 수정된 손실 함수를 유도한다.
• 수정된 손실의 두 번째 순서 보정 항으로서 은닉 경사 정규화(IGR)를 유도하며, 이는 손실 기울기의 노름 제곱에 비례한다: $ R_{IG}( heta) = \frac{1}{m}\sum_{i=1}^{m}(\nabla_{\theta_i}E(\theta))^2 $.
• 미분기하학을 사용하여 IGR가 높은 손실 표면 곡률 영역을 억제하고 평탄한 최소값을 선호함을 보여준다.
• 다양한 학습률, 네트워크 크기, 배치 크기에서 MLP(MNIST) 및 ResNets(CIFAR-10)에서 IGR을 실험적으로 평가한다.
• 임의의 정지 시간에 의한 편향을 피하기 위해 최대 테스트 정확도 시점의 모델을 비교하며, $ R_{IG} $, $ E(\theta) $, 및 테스트 오차를 측정한다.
• 손실에 $ R_{IG} $ 를 추가함으로써 IGR가 명시적 정규화 항으로 사용될 수 있음을 보여주며, 정규화 강도를 직접 제어할 수 있다.

실험 결과

연구 질문

• RQ1 딥 네트워크에서 이산적 경사하강 단계에 의해 유도되는 암묵적 정규화의 형태는 무엇인가?
• RQ2 이 암묵적 정규화의 크기는 학습률과 모델 일반화와 어떻게 관련이 있는가?
• RQ3 유도된 정규화 항을 통해 암묵적 정규화 효과를 명시적으로 측정하고 제어할 수 있는가?
• RQ4 은닉 경사 정규화는 평탄한 최소값, 낮은 테스트 오차, 향상된 강건성과 상관되는가?
• RQ5 후방 오차 분석은 학습률, 모델 크기, 일반화 간의 상호작용을 이해하는 데 이론적 프레임워크를 제공하는가?

주요 결과

• IGR는 후방 오차 분석을 통해 손실 함수의 두 번째 순서 보정 항으로 도출되었으며, 정규화 강도 $ \lambda = \frac{hm}{4} $ 로 표현되며, 여기서 $ h $ 는 학습률이고 $ m $ 은 파라미터 수이다.
• 더 큰 학습률로 훈련된 모델은 $ R_{IG}(\theta)/E(\theta) $ 의 값이 유의미하게 작으며, 이는 IGR가 평탄한 최소값을 선호함을 뒷받침한다.
• 테스트 정확도는 $ R_{IG} $ 의 크기와 강하게 상관되며, $ R_{IG} $ 가 낮을수록 MNIST 및 CIFAR-10에서 더 좋은 일반화가 이루어진다.
• 이 암묵적 정규화 효과는 배치 크기의 변화에 대해 강건하며, 전체 배치 및 확률적 경사하강법 모두에 적용된다.
• CIFAR-10에서 훈련된 ResNet-18 모델은 학습률을 높일수록 $ R_{IG} $ 가 감소하고 테스트 정확도가 증가함을 보여주며, 더 큰 모델에서도 동일한 경향을 확인한다.
• 명시적으로 손실에 $ R_{IG} $ 를 추가함으로써 정규화 강도를 직접 제어할 수 있으며, 이는 표준 훈련 방식으로 달성 가능한 최대 암묵적 정규화를 초월한다.