[논문 리뷰] Reducing the variance in online optimization by transporting past gradients

Sébastien M. R. Arnold, Pierre-Antoine Manzagol외 3명|arXiv (Cornell University)|2019. 06. 08.

Stochastic Gradient Optimization Techniques참고 문헌 45인용 수 12

한 줄 요약

이 논문은 과거 기울기를 명시적인 헤시안 계산 없이 현재 반복점에 전달하는 방법인 암묵적 기울기 운반(IGT)을 제안한다. IGT는 온라인 스토하스틱 최적화에서 분산을 줄이는 데 기여하며, Adam 및 헤비볼 같은 모멘텀 기반 최적화 방법이 깊이 학습 벤치마크 전반에서 최고 성능을 달성하도록 한다. 이는 기울기 추정치의 편향과 분산을 크게 낮추며, 모든 헤시안 행렬이 동일한 특수 케이스에서 최적 수렴 보장을 제공한다.

ABSTRACT

Most stochastic optimization methods use gradients once before discarding them. While variance reduction methods have shown that reusing past gradients can be beneficial when there is a finite number of datapoints, they do not easily extend to the online setting. One issue is the staleness due to using past gradients. We propose to correct this staleness using the idea of implicit gradient transport (IGT) which transforms gradients computed at previous iterates into gradients evaluated at the current iterate without using the Hessian explicitly. In addition to reducing the variance and bias of our updates over time, IGT can be used as a drop-in replacement for the gradient estimate in a number of well-understood methods such as heavy ball or Adam. We show experimentally that it achieves state-of-the-art results on a wide range of architectures and benchmarks. Additionally, the IGT gradient estimator yields the optimal asymptotic convergence rate for online stochastic optimization in the restricted setting where the Hessians of all component functions are equal.

연구 동기 및 목표

• 과거 기울기를 재사용할 때 발생하는 높은 분산과 편향 문제를 해결하기 위해, 특히 명시적인 헤시안 계산 없이도 기울기 재사용을 가능하게 하기 위해.
• 일반적으로 유한합 설정에서만 효과적인 분산 감소 기법을 온라인 환경으로 확장하기 위해.
• 명시적인 헤시안 계산 없이 과거 기울기의 오래됨을 보정할 수 있는 방법을 개발하기 위해.
• 모멘텀 기반 최적화 방법이 온라인 환경에서 더 빠른 수렴과 더 나은 일반화 성능을 달성할 수 있도록 하기 위해.
• 기존 최적화 프레임워크(예: Adam 및 헤비볼)에서 스토하스틱 기울기의 즉각적인 교체 가능성을 제공하기 위해.

제안 방법

• IGT는 헤시안 행렬을 명시적으로 계산하지 않고도 이전 반복점의 과거 기울기를 선형 근사법을 사용해 현재 파라미터 위치로 암묵적으로 전달한다.
• 이 방법은 과거 기울기와 운반 보정을 조합하여 편향과 분산을 줄이는 기울기 추정기를 구성한다.
• IGT는 표준 스토하스틱 기울기를 IGT 보정 기울기 추정치로 대체함으로써 모멘텀 기반 최적화 방법에 통합된다.
• 이 접근법은 과거 기울기의 오래됨에도 불구하고 안정성과 수렴성을 유지하는 데 암묵적 기울기 운반을 활용한다.
• 이론적 분석 결과, IGT는 모든 구성 함수 헤시안 행렬이 동일한 특수 케이스에서 최적의 渐近 수렴 속도를 달성한다.
• 이 방법은 최소한의 코드 수정으로도 기존 최적화 코드베이스에 쉽게 통합 가능한 드롭인 대체품으로 구현된다.

실험 결과

연구 질문

• RQ1 명시적인 헤시안 계산 없이도 과거 기울기를 온라인 최적화에서 효과적으로 재사용하여 분산과 편향을 줄일 수 있는가?
• RQ2 암묵적 기울기 운반은 표준 스토하스틱 기울기 방법에 비해 온라인 스토하스틱 최적화에서 수렴 속도와 안정성을 향상시키는가?
• RQ3 IGT는 기존의 모멘텀 기반 최적화 방법(예: Adam 및 헤비볼)에 원활하게 통합될 수 있는가?
• RQ4 특히 헤시안 행렬이 동일한 조건 하에서 IGT의 이론적 수렴 행동은 어떠한가?
• RQ5 IGT는 다양한 딥러닝 아키텍처와 벤치마크에서 최고 성능을 달성하는가?

주요 결과

• IGT는 다양한 딥러닝 아키텍처와 벤치마크에서 최고 성능을 기록하며, Adam 및 모멘텀 기반 SGD와 같은 표준 최적화 방법을 뛰어넘는다.
• IGT 기울기 추정기는 모든 구성 함수 헤시안 행렬이 동일한 특수 케이스에서 최적의 渐近 수렴 속도를 달성한다.
• IGT는 시간이 지남에 따라 기울기 추정치의 편향과 분산을 모두 감소시켜 더 빠른 수렴과 향상된 일반화 성능을 이끈다.
• 이 방법은 표준 스토하스틱 기울기 강하와 달리, 선형 수렴을 보장하는 일정한 스텝 사이즈 사용이 가능하다.
• 실험 결과, IGT를 사용한 표준 SGD 및 그 모멘텀 변형이 딥러닝에서 일반적으로 사용되는 최적화 방법보다 뛰어난 성능을 보였다.
• 이론적 분석은 IGT가 적절한 하이퍼파ram터 조정 하에서 선형 수렴을 유지하며, 스펙트럼 반경 조건이 안정성을 보장함을 확인했다.