[논문 리뷰] Efficient Full-Matrix Adaptive Regularization

Naman Agarwal, Brian Bullins외 5명|arXiv (Cornell University)|2018. 06. 08.

Sparse and Compressive Sensing Techniques인용 수 12

한 줄 요약

이 논문은 최근 기울기의 슬라이딩 윈도우에서 유도된 저질서 헤시안 근사의 역 제곱근을 계산하여 비볼록 최적화에서 효율적인 전면 행렬 적응형 정규화를 위한 확장 가능한 알고리즘 GGT를 제안한다. 이 방법은 특히 RNN 학습과 같은 불량 조건 또는 복잡한 손실 곡면에서 Adam과 같은 대각선 적응형 방법보다 더 빠른 반복 단위 수렴을 달성하며, 적응 비율에 따라 수렴 속도에 이론적 보장을 제공한다.

ABSTRACT

Adaptive regularization methods pre-multiply a descent direction by a preconditioning matrix. Due to the large number of parameters of machine learning problems, full-matrix preconditioning methods are prohibitively expensive. We show how to modify full-matrix adaptive regularization in order to make it practical and effective. We also provide a novel theoretical analysis for adaptive regularization in non-convex optimization settings. The core of our algorithm, termed GGT, consists of the efficient computation of the inverse square root of a low-rank matrix. Our preliminary experiments show improved iteration-wise convergence rates across synthetic tasks and standard deep learning benchmarks, and that the more carefully-preconditioned steps sometimes lead to a better solution.

연구 동기 및 목표

• 대규모 딥러닝 모델에서 전면 행렬 적응형 정규화의 계산 비용이 지나치게 높아지는 문제를 해결하기 위해.
• 행렬 역행렬 계산의 금방은 비용 없이 실용적이고 확장 가능한 전면 행렬 전치법 적용 방법을 개발하기 위해.
• 스토하스틱 비볼록 최적화에서 적응형 정규화에 대한 첫 이론적 수렴 분석을 제공하기 위해.
• 전면 행렬 전치법이 대각선 적응형 방법보다 더 빠르고 안정적인 학습을 이끌어내는지 경험적으로 검증하기 위해.
• RNN과 같은 복잡하고 이방향 손실 곡면에서 기존 최적화 방법들(예: Adam)보다 GGT가 뛰어난 성능을 보이는지 보여주기 위해.

제안 방법

• GGT는 최근 기울기의 슬라이딩 윈도우에 대해 기울기 그램 행렬의 저질서 근사를 기반으로 그 역 제곱근을 계산한다.
• 기울기의 두 번째 모멘트 행렬을 메모리 효율적으로 유지하기 위해 지수 감쇠 윈도우를 사용한다.
• 이 저질서 행렬의 역 제곱근에 대한 행렬-벡터 곱을 수치적으로 안정적이고 GPU 우수한 알고리즘으로 계산한다.
• 전체 행렬 저장 및 역행렬 계산을 피하기 위해 랭크-1 업데이트를 사용해 전치법을 점진적으로 갱신한다.
• 최적화 루프에 대한 최소한의 수정만으로 Adam의 즉각적인 대체로 설계되어 있다.
• 이론적 분석에서 수렴 속도에 영향을 주는 적응 비율 μ를 도입하였으며, 이는 SGD 대비 향상 정도를 정량화한다.

실험 결과

연구 질문

• RQ1 대규모 딥러닝 모델에서 전면 행렬 적응형 정규화를 계산적으로 실현 가능한 수준으로 만들 수 있는가?
• RQ2 불량 조건 또는 복잡한 손실 곡면에서 전면 행렬 전치법이 대각선 적응형 방법보다 더 빠른 수렴을 이끌어낼 수 있는가?
• RQ3 스토하스틱 비볼록 최적화에서 적응형 정규화에 대한 이론적 수렴 보장을 확립할 수 있는가?
• RQ4 적응 비율 μ는 SGD 대비 수렴 속도에 어떤 영향을 미치는가?
• RQ5 전면 행렬 전치법은 RNN과 같은 복잡한 모델의 학습 동역학에 어떤 영향을 미치는가?

주요 결과

• GGT는 특히 불량 조건 문제에서 표준 딥러닝 벤치마크에서 Adam 및 기타 대각선 적응형 방법보다 더 빠른 반복 단위 수렴을 달성한다.
• 합성 실험에서 GGT는 불량 조건 문제에서 기준선을 크게 능가하며, 조건 수가 클수록 수렴 성능 향상이 더 두드러진다.
• RNN 학습에서는 GGT가 상당한 성능 우위를 보이며, 약 10⁶ 수준의 높은 조건 수와 관련되어 있어 이방향 곡률를 더 잘 다루고 있음을 시사한다.
• 이론적 분석 결과, GGT는 Õ(μ²σ²/ε⁴)회의 스토하스틱 기울기 호출로 ε-근사 제1차 임계점에 수렴하며, 적응 비율 μ가 SGD 대비 수렴 속도를 향상시킨다.
• 알고리즘의 실행 시간은 최첨단 최적화 방법과 유사하여 대규모 모델에 실용적으로 적용 가능하다.
• 경험적 결과는 더 정교하게 전치된 스텝이 더 나은 일반화와 더 빠른 학습을 이끌어내며, 특히 비볼록이고 복잡한 곡면에서 그러한 효과가 두드러진다.