[논문 리뷰] Normalized Direction-preserving Adam

Zijun Zhang, Lin Ma외 2명|arXiv (Cornell University)|2017. 09. 13.

Stochastic Gradient Optimization Techniques참고 문헌 21인용 수 20

한 줄 요약

이 논문은 기울기 방향을 각 가중치 벡터별로 유지하고 효과적 학습률을 제어하기 위해 가중치 벡터를 명시적으로 정규화하는 수정된 Adam 최적화기인 정규화된 방향 유지 Adam(ND-Adam)을 제안한다. SGD와 더 가까운 업데이트 역학을 확보하고 정규화된 소프트맥스를 통합함으로써, ND-Adam은 이미지 분류에서 SGD와 동등한 일반화 성능을 달성하여 Adam과 SGD 사이의 일반화 격차를 해소한다.

ABSTRACT

Adaptive optimization algorithms, such as Adam and RMSprop, have shown better optimization performance than stochastic gradient descent (SGD) in some scenarios. However, recent studies show that they often lead to worse generalization performance than SGD, especially for training deep neural networks (DNNs). In this work, we identify the reasons that Adam generalizes worse than SGD, and develop a variant of Adam to eliminate the generalization gap. The proposed method, normalized direction-preserving Adam (ND-Adam), enables more precise control of the direction and step size for updating weight vectors, leading to significantly improved generalization performance. Following a similar rationale, we further improve the generalization performance in classification tasks by regularizing the softmax logits. By bridging the gap between SGD and Adam, we also hope to shed light on why certain optimization algorithms generalize better than others.

연구 동기 및 목표

• 딥 신경망에서 Adam이 SGD보다 일반화 성능이 떨어지는 이유를 규명하는 것.
• 두 가지 핵심 문제를 해결하는 것: (1) Adam이 각 가중치 벡터별로 기울기 방향을 유지하지 않으며, (2) 제어되지 않은 파라미터 노름 증가로 인해 효과적 학습률이 감소함.
• 업데이트 방향과 효과적 학습률에 대한 보다 정밀한 제어가 가능한 Adam의 변종을 개발하는 것.
• 소프트맥스 로짓을 정규화하여 분류의 학습 신호를 향상시키는 것.
• Adam과 SGD 사이의 일반화 성능 격차를 해소하는 것.

제안 방법

• ND-Adam은 각 파라미터가 아닌 각 가중치 벡터별로 학습률을 조정하여 기울기 방향을 유지하도록 Adam을 수정한다.
• 최적화 과정에서 각 가중치 벡터를 명시적으로 정규화함으로써 방향과 크기 업데이트를 분리하여 효과적 학습률을 안정화시킨다.
• 기울기의 방향을 유지하면서 정규화를 통해 스텝 크기를 제어하는 수정된 업데이트 규칙을 사용한다.
• 로짓 크기를 제약하고 학습 신호 품질을 향상시키기 위해 배치 정규화 또는 L2-정규화를 통한 정규화된 소프트맥스 레이어를 도입한다.
• SGD에서의 암묵적 정규화 효과를 모방하기 위해 Adam에서 가중치 벡터를 명시적으로 정규화하는 알고리즘 설계.
• 실증 평가에서는 CIFAR-10과 CIFAR-100에서 제어된 초모수를 가진 WRN 아키텍처를 사용하여 ND-Adam, Adam, SGD 간의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 왜 딥 신경망에서 Adam은 SGD보다 일반화 성능이 떨어지는가?
• RQ2 Adam에서 기울기 방향 유지의 부재가 최적화 역학에 어떤 영향을 미치는가?
• RQ3 Adam에서 가중치 벡터의 명시적 정규화가 일반화에 얼마나 기여하는가?
• RQ4 소프트맥스 로짓의 크기는 학습 신호 품질과 일반화에 어떤 영향을 미치는가?
• RQ5 정규화된 가중치 업데이트와 정규화된 소프트맥스를 조합하면 Adam과 SGD 사이의 일반화 격차를 메울 수 있는가?

주요 결과

• WRN-22-7.5를 사용할 때 ND-Adam은 CIFAR-10에서 3.70%의 테스트 오차율, CIFAR-100에서 19.30%의 테스트 오차율을 기록하여 SGD 성능과 동일하다.
• BN-소프트맥스와 L2-정규화된 로짓을 사용할 경우, ND-Adam은 CIFAR-10에서 4.14%의 오차율, CIFAR-100에서 19.90%의 오차율을 기록하여 표준 Adam을 초월한다.
• 표준 Adam에서는 로짓 크기가 현저히 더 크며(그림 3 참조), 이는 정규화가 Adam에 비해 더 큰 도움을 주는 이유를 설명한다.
• 원래의 WRN 구현에서 ND-Adam과 SGD는 거의 동일한 일반화 성능(_WRN-28-10_를 사용할 경우 CIFAR-10에서 3.70% 오차율)을 보였다.
• L2-정규화된 소프트맥스는 Adam의 일반화 성능 향상에 가장 크게 기여하며, 이는 비정규화된 로짓이 Adam의 업데이트 역학의 악영향을 악화시킨다는 것을 시사한다.
• ND-Adam은 가중치 벡터 정규화를 통해 업데이트 방향과 효과적 학습률을 정밀하게 제어함으로써 Adam과 SGD 사이의 일반화 격차를 완전히 제거한다.