[논문 리뷰] Adaptivity without Compromise: A Momentumized, Adaptive, Dual Averaged Gradient Method for Stochastic Optimization

Aaron Defazio, Samy Jelassi|arXiv (Cornell University)|2021. 01. 26.

Stochastic Gradient Optimization Techniques참고 문헌 27인용 수 39

한 줄 요약

MADGRAD는 AdaGrad 스타일 적응성과 모멘텀을 결합한 모멘텀화된 적응 듀얼-평균 그라디언트 방법으로, 볼록 문제에서 강한 성능과 수렴 보장을 달성하고 비전 및 NLP 과제 전반에서 심층 학습 결과와 경쟁력을 보여줍니다.

ABSTRACT

We introduce MADGRAD, a novel optimization method in the family of AdaGrad adaptive gradient methods. MADGRAD shows excellent performance on deep learning optimization problems from multiple fields, including classification and image-to-image tasks in vision, and recurrent and bidirectionally-masked models in natural language processing. For each of these tasks, MADGRAD matches or outperforms both SGD and ADAM in test set performance, even on problems for which adaptive methods normally perform poorly.

연구 동기 및 목표

• 딥 러닝을 위한 적응성과 견고한 일반화의 결합을 모티베이션으로 하여 최적화 방법을 설계한다.
• AdaGrad의 듀얼 평균화에 모멘텀과 안정적이고 적응적인 업데이트를 위한 큐브 루트 분모를 도입하여 MADGRAD를 개발한다.
• 볼록성 하에서 이론적 수렴 보장을 제공하고 비전 및 NLP 과제에서 실험적 성능을 입증한다.

제안 방법

• 일반적인 미러-디센트 형식 대신 AdaGrad의 듀얼 평균화 형태를 채택한다.
• 신경망 학습에서 발산하는 행동을 피하기 위해 초기 지점을 중심으로 근사함수를 설정한다.
• 유효한 스텝 크기를 유지하기 위해 람다_k 스케일링이 있는 단계별, 전방 가중 그래디언트 시퀀스를 도입한다.
• 모멘텀 개념과 SGD 변형의 모멘텀과 일치하는 이동 평균/인라인 평균화 체계를 도입한다.
• 적응 크기 조정에서 큐브 루트 분모를 사용하여 적절한 유효 스텝 크기를 유지하고 안정성을 개선한다.
• 볼록성 하에서 제시된 업데이트에 대한 경계가 핵심 문제 상수와 함께 스케일링되는 수렴 정리를 제공한다.

실험 결과

연구 질문

• RQ1 MADGRAD가 수렴 보장을 유지하면서 표준 딥 러닝 벤치마크에서 단일 최첨단 또는 경쟁력 있는 테스트 성능을 달성할 수 있는가?
• RQ2 듀얼 평균화, 모멘텀 및 큐브 루트 적응 스케일링이 상호 작용하여 확률적 최적화의 수렴과 일반화에 어떤 영향을 미치는가?
• RQ3 MADGRAD와 Adam, AdaGrad, 모멘텀을 갖춘 SGD와 같은 확립된 최적화 알고리즘 간의 이론적 및 실험적 트레이드오프는 무엇인가?]
• RQ4 key_findings:
• RQ5 MADGRAD는 다양한 딥 러닝 과제에서 SGD 및 ADAM에 비해 테스트 세트 성능이 동등하거나 우수하다.
• RQ6 제안된 업데이트에 대해 볼록성 하에서 강력한 수렴 보장을 달성한다.
• RQ7 모멘텀을 사용하지 않는 경우에도 희박한 문제에 대해 MADGRAD가 여전히 효과적이며, 일부 적응 방법의 한계를 다룬다.
• RQ8 적응 스케일링의 큐브 루트 분모는 적절한 유효 스텝 크기를 보존하고 실험적 안정성을 향상시킨다.
• RQ9 AMSGrad 유사한 Adam 경계와 비교할 때, MADGRAD는 그들이 보이는 문제의 의존성 및 로그 인자 중 일부를 피한다.

주요 결과

• MADGRAD는 다양한 딥 러닝 작업에서 SGD 및 ADAM에 비례하거나 우수한 테스트 세트 성능을 제공한다.
• 제안된 업데이트 하에서 볼록성에 대한 강력한 수렴 보장을 달성한다.
• 모멘텀을 사용하지 않는 경우에도 스파스한 문제에 대해 효과적이며, 일부 적응 방법의 한계를 해결한다.
• 적응 스케일링의 큐브 루트 분모가 적절한 유효 스텝 크기를 유지하도록 돕고 경험적 안정성을 향상시킨다.
• AMSGrad 유사한 Adam 경계에 비해 MADGRAD는 그들가 보이는 일부 문제 의존성과 로그 요인을 피한다.