[논문 리뷰] Dissecting Adam: The Sign, Magnitude and Variance of Stochastic Gradients

Lukas Balles, Philipp Hennig|arXiv (Cornell University)|2017. 05. 22.

Architecture and Computational Design인용 수 78

한 줄 요약

논문은 Adam을 두 구성요소—부호 기반 업데이트 방향과 분산적응 크기—으로 분해하고 이를 분리하여 분석하며, 대안으로 svag와 m-svag를 제시하고, 실험은 부호가 성능을 지배하고 분산 적응이 강건성을 돕는다고 보여준다.

ABSTRACT

The ADAM optimizer is exceedingly popular in the deep learning community. Often it works very well, sometimes it doesn't. Why? We interpret ADAM as a combination of two aspects: for each weight, the update direction is determined by the sign of stochastic gradients, whereas the update magnitude is determined by an estimate of their relative variance. We disentangle these two aspects and analyze them in isolation, gaining insight into the mechanisms underlying ADAM. This analysis also extends recent results on adverse effects of ADAM on generalization, isolating the sign aspect as the problematic one. Transferring the variance adaptation to SGD gives rise to a novel method, completing the practitioner's toolbox for problems where ADAM fails.

연구 동기 및 목표

• 부호 기반 업데이트를 분산 적응으로부터 고립시켜 Adam의 성능이 문제에 따라 왜 달라지는지 동기 부여하고 이해한다.
• 요소별 분산 적응 인자에 대한 원칙적 도출을 제공한다.
• 다른 업데이트 방향에 분산 적응을 적용하는 것이 수렴성과 일반화에 어떻게 영향을 미치는지 보여준다.
• m-svag를 포함한 분산 적응 방법의 실용적 구현을 제시하고 이를 Adam 및 부호 기반 방법과 비교한다.

제안 방법

• Adam을 두 구성요소로 해석한다: 부호 기반 업데이트 방향과 분산 적응된 업데이트 크기.
• 부호 기반 업데이트와 그래디언트 업데이트에 대한 최적의 분산 적응 인자를 도출한다.
• Stochastic Variance-Adapted Gradient (SVAG)와 그 모멘텀 변형(m-svag)을 도입하고 표준 가정하에서 수렴 특성을 보인다.
• 그래디언트 모멘트의 추정으로 v_t와 m_t를 연결하고 분산 추정의 바이어스를 보정하여 실용적인 분산 추정을 제공한다.
• m-svag의 알고리즘 의사코드를 제시하고 하이퍼파라미터 및 구현 세부사항을 논의한다.

실험 결과

연구 질문

• RQ1 부호 기반 업데이트를 분산 적응으로부터 분리하는 것이 확률적 최적화에서 Adam의 동작을 이해하는 데 도움이 되는가?
• RQ2 분산 적응을 확률적 업데이트에 대한 최적의 좌표별 스케일링 인자로 도출할 수 있는가?
• RQ3 다양한 작업에서 SVAG와 m-svag가 Adam 및 부호 기반/비부호 기반 기준선과 비교해 어떤 성능을 보이는가?
• RQ4 적응형 방법에서 분산 적응이 일반화에 미치는 영향은 무엇인가?
• RQ5 분산 적응을 실용적으로 어떻게 추정하고 최적화 루틴의 모멘텀과 어떻게 통합할 수 있는가?

주요 결과

• 부호 구성요소는 대부분의 테스트된 문제에서 Adam의 성능에 지배적 요인으로 작용하지만, 그 유용성은 문제에 따라 다르다.
• 분산 적응은 성능을 향상시키며 Adam 뿐 아니라 어떤 업데이트 방향에도 적용될 수 있음을 m-svag가 보여준다.
• 좌표별 최적의 분산 인자를 도출할 수 있으며, 특히 부호-하강 변형의 경우 Adam이 암묵적으로 사용하는 인자와 일치한다.
• m-svag는 부호 기반 적응 방법과 관련된 일반화 손상을 일부 피하면서 학습 성능을 유지하거나 향상시킨다.
• 부호 기반 방법은 일부 작업에서 비부호 기반 방법보다 우수할 수 있으나 문제 구조에 따라 일반화에 해를 끼칠 수 있다.
• 네 가지 문제에 대한 실험 결과는 부호 기반 대 비부호 기반 방법의 군집화를 보여주며, 분산 적응이 추가 이익을 제공한다.