[논문 리뷰] Positive-Negative Momentum: Manipulating Stochastic Gradient Noise to Improve Generalization

Zeke Xie, Yuan Li외 2명|arXiv (Cornell University)|2021. 03. 31.

Stochastic Gradient Optimization Techniques참고 문헌 58인용 수 6

한 줄 요약

이 논문은 두 개의 독립적인 모멘텀 항을 유지함으로써 SGN 크기를 제어하는 새로운 최적화 방법인 Positive-Negative Momentum (PNM)을 제안한다. 이 방법은 최소한의 계산 비용으로 SGD와 Adam보다 일반화 성능을 크게 향상시키며, 이미지 분류, 언어 모델링, 노이즈가 있는 레이블 학습 벤치마크에서 전통적인 모멘텀 기반 최적화 방법을 능가한다.

ABSTRACT

It is well-known that stochastic gradient noise (SGN) acts as implicit regularization for deep learning and is essentially important for both optimization and generalization of deep networks. Some works attempted to artificially simulate SGN by injecting random noise to improve deep learning. However, it turned out that the injected simple random noise cannot work as well as SGN, which is anisotropic and parameter-dependent. For simulating SGN at low computational costs and without changing the learning rate or batch size, we propose the Positive-Negative Momentum (PNM) approach that is a powerful alternative to conventional Momentum in classic optimizers. The introduced PNM method maintains two approximate independent momentum terms. Then, we can control the magnitude of SGN explicitly by adjusting the momentum difference. We theoretically prove the convergence guarantee and the generalization advantage of PNM over Stochastic Gradient Descent (SGD). By incorporating PNM into the two conventional optimizers, SGD with Momentum and Adam, our extensive experiments empirically verified the significant advantage of the PNM-based variants over the corresponding conventional Momentum-based optimizers.

연구 동기 및 목표

• 실제 확률적 경사하강 노이즈(SGN)의 비등방성과 파am터에 의존하는 성질을 재현하지 못하는 인위적 랜덤 노이즈의 일반화 향상 한계를 해결하기 위해.
• 학습률이나 배치 크기를 변경하지 않고도 학습률과 배치 크기의 계산 비용과 수렴성 간의 트레이드오��� 제약을 고려하여 SGN을 효과적으로 향상시킬 수 있는 저비용 방법을 개발하기 위해.
• SGD와 Adam과 같은 최적화 방법에서 기존 모멘텀의 이론적으로 타당하고 경험적으로 탄탄한 대안을 제공하기 위해.
• 딥 네URAL 네트워크 학습에서 학습률과 가중치 감쇠 등의 하이퍼파ram터에 대해 일반화 성능과 내구성을 향상시키기 위해.

제안 방법

• 기존 모멘텀의 대체로 양음 모멘텀(PNM)을 제안하며, 제어 가능한 차이를 가지는 두 개의 독립된 모멘텀 항을 사용한다.
• 두 모멘텀 항 간의 차이가 SGN의 크기를 명시적으로 제어하여 일반화 성능 향상을 위한 목표적 경사하강 노이즈 조작이 가능하다.
• 학습률이나 배치 크기를 변경하지 않고도 기존 최적화 방법(SGD with Momentum 및 Adam)에 PNM 기반 변형을 통합한다.
• 이론적 분석을 통해 PNM가 표준 SGD보다 수렴성과 일반화 성능에서 우월함을 증명하며, 특히 더 평평한 최소값을 선호함을 입증한다.
• 경험적으로 PNM는 Stochastic PNM와 AdaPNM로 적용되며, 하이퍼파ram터를 조정하여 SGN를 향상시키면서도 학습 안정성을 유지한다.
• 기존 최적화 방법과의 호환성을 고려해 플러그 앤 플레이 방식으로 설계되었으며, Adam, AdamW, AMSGrad와 같은 인기 있는 최적화 방법과도 호환된다.

실험 결과

연구 질문

• RQ1 모멘텀 다이내믹스에 대한 단순한 수정이 딥러닝에서 일반화 성능 향상을 위해 확률적 경사하강 노이즈(SGN)를 효과적으로 향상시킬 수 있는가?
• RQ2 제안된 양음 모멘텀 방법이 테스트 정확도와 내구성 측면에서 기존 모멘텀 기반 최적화 방법을 능가하는가?
• RQ3 하이퍼파ram터 조정 없이도 PNM가 다양한 데이터셋(CIFAR-10, CIFAR-100, ImageNet)과 작업(이미지 분류, 언어 모델링, 노이즈가 있는 레이블 학습)에서 뛰어난 성능을 유지할 수 있는가?
• RQ4 β₀와 같은 주요 하이퍼파ram터에 대해 PNM의 민감도는 어떻게 되며, 학습률과 가중치 감쇠 변화에 대해 내구성이 있는가?

주요 결과

• PNM 기반 최적화 방법은 기존 모멘텀 기반 최적화 방법보다 유의미하게 뛰어난 일반화 성능을 보이며, 레이블 노이즈 비율 40%인 CIFAR-10에서 최대 20점의 테스트 오차 감소를 기록했다.
• ResNet18을 사용한 CIFAR-10에서 PNM는 테스트 오차 4.48% ± 0.09를 기록하여 SGD(5.01% ± 0.03)와 Adam(6.53% ± 0.03)을 모두 능가했다.
• ImageNet에서 Stochastic PNM는 모든 학습률 감쇠 단계에서 SGD보다 항상 낮은 테스트 오차를 기록하여 더 빠른 수렴과 더 나은 일반화 성능을 보였다.
• AdaPNM는 언어 모델링 작업에서 Adam을 능가하며, 더 높은 테스트 성능과 더 빠른 학습 속도를 보였다.
• PNM는 학습률과 가중치 감쇠에 대해 뛰어난 내구성을 보이며, SGD보다 훨씬 넓고 깊은 최적 하이퍼파ram터 영역을 확보했다.
• β₀ > 0일 경우 β₀에 대해 매우 내구성이 있으며 다양한 값에서 뛰어난 성능을 기록했으며, β₀ ≤ 0일 경우 성능이 떨어지는 것으로 나타나 이론적 기대와 일치함을 확인했다.