[논문 리뷰] Online Regularized Nonlinear Acceleration

Damien Scieur, Edouard Oyallon외 2명|arXiv (Cornell University)|2018. 05. 24.

Stochastic Gradient Optimization Techniques참고 문헌 12인용 수 6

한 줄 요약

이 논문은 온라인 정규화 비선형 가속(Online RNA)을 소개한다. 이는 실시간으로 앤더슨 유형 외삽에 정규화를 적용함으로써 경사 하강법 및 네스테로프의 빠른 경사 하강법과 같은 1차 최적화 알고리즘을 가속화하는 새로운 방법이다. 볼록 문제에 대해 점점 최적에 수렴하는 수렴 속도를 달성하며, 선형 탐색이나 문제에 특화된 파라미터를 요구하지 않아도 표준 방법보다 성능을 크게 향상시킨다.

ABSTRACT

Regularized nonlinear acceleration (RNA) estimates the minimum of a function by post-processing iterates from an algorithm such as the gradient method. It can be seen as a regularized version of Anderson acceleration, a classical acceleration scheme from numerical analysis. The new scheme provably improves the rate of convergence of fixed step gradient descent, and its empirical performance is comparable to that of quasi-Newton methods. However, RNA cannot accelerate faster multistep algorithms like Nesterov's method and often diverges in this context. Here, we adapt RNA to overcome these issues, so that our scheme can be used on fast algorithms such as gradient methods with momentum. We show optimal complexity bounds for quadratics and asymptotically optimal rates on general convex minimization problems. Moreover, this new scheme works online, i.e., extrapolated solution estimates can be reinjected at each iteration, significantly improving numerical performance over classical accelerated methods.

연구 동기 및 목표

• Nesterov의 방법과 같은 빠른 다단계 알고리즘과 함께 작동하는 일반적인 가속 프레임워크를 개발하여, 이전의 RNA 방법이 이러한 알고리즘을 가속화하지 못했던 한계를 극복한다.
• 모든 반복 후에 외삽을 적용하는 온라인 가속을 가능하게 하여, 배치 재시작 방식에 비해 수치적 안정성과 성능을 향상시킨다.
• 이차 함수와 일반 볼록 함수 모두에 대해 수렴성과 최적의 복잡도 한계를 보장하며, 스 tochastic 설정을 포함한다.
• 대규모 문제, 특히 딥 러닝에서 BFGS 및 Katyusha와 같은 최첨단 방법과의 비교에서 확장성과 경쟁력을 입증한다.

제안 방법

• Nesterov의 빠른 경사 하강법과 같은 방법의 운동량 항을 포함한 외삽 단계를 수정하여, 다단계 알고리즘에 정규화된 비선형 가속(RNA)을 적용한다.
• 외삽의 안정성을 높이기 위해 계수 계산에 정규화 항을 도입하여, 조건이 나쁜 또는 노이즈가 많은 설정에서 발산을 방지한다.
• 외삽된 반복값을 온라인으로 계산하기 위해 재귀적 공식을 사용하여, 각 반복 후 개선된 추정치를 다시 투입할 수 있도록 한다.
• 수치적 안정성을 확보하기 위해 티호노프 정규화를 사용한 최소 제곱 공식을 사용하여 외삽 계수를 구한다.
• 유한합 문제와 딥 네URAL 네트워크를 포함한 결정론적 및 스 tochastic 최적화에 모두 적용한다.
• 문제의 조건 수나 데이터 크기에 비례하여 조정되는 동적 정규화 파라미터를 사용하여 안정성을 유지한다.

실험 결과

연구 질문

• RQ1 Nesterov의 빠른 경사 하강법과 같이 표준 경사 하강법보다 빠른 다단계 알고리즘을 일반화된 RNA로 가속화할 수 있는가?
• RQ2 모든 반복 후에 RNA를 온라인으로 적용하는 방식—즉, 매 반복마다 외삽을 재계산하는 방식—이 배치 재시작 방식에 비해 수렴 속도와 안정성 향상에 기여하는가?
• RQ3 조건 수를 알지 못해도 부드럽고 (강하게) 볼록 함수에 대해 점점 최적 수렴 속도를 달성할 수 있는가?
• RQ4 볼록 및 비볼록 문제에서 BFGS 및 Katyusha와 같은 기존 방법과 비교했을 때 Online RNA의 성능과 확장성은 어떠한가?
• RQ5 RNA의 계산 오버헤드는 무엇이며, 문제 크기와 모델 복잡도에 따라 어떻게 증가하는가?

주요 결과

• 온라인 RNA는 부드럽고 (강하게) 볼록 함수에 대해 점점 최적 수렴 속도를 달성하며, Nesterov의 방법의 하한선과 일치한다.
• 이 방법은 표준 경사 하강법과 Nesterov의 빠른 경사 하강법보다 수렴 속도를 크게 향상시키며, 조건 수가 10^6에 이르는 조건이 나쁜 문제에서 특히 그렇다.
• 정규화가 필수적이다: 정규화되지 않은 앤더슨 가속은 노이즈가 많거나 조건이 나쁜 설정에서 발산하지만, 적절한 λ 조정을 통해 온라인 RNA는 안정성을 유지한다.
• MNIST 데이터셋에서 온라인 RNA는 SGD와 SAGA를 능가하며, 선형 탐색이 필요 없는 가속 유한합 방법인 Katyusha와 경쟁 수준의 성능을 보였다.
• ImageNet에서 ResNet-50을 훈련할 때, 오프라인 RNA는 모델 정확도를 유지하지만, 온라인 RNA는 성능을 떨어뜨리는 것으로 나타나, 비볼록 딥 러닝 환경에서는 온라인 가속이 덜 효과적임을 시사한다.
• 딥 네트워크에서 단일 포워드-백워드 패스에 비해 RNA의 계산 비용은 극히 미미하여, 특히 N이 증가할수록 CPU 기반 가속에 실현 가능하다.