[논문 리뷰] The Case for Full-Matrix Adaptive Regularization

Naman Agarwal, Brian Bullins외 5명|arXiv (Cornell University)|2018. 09. 27.

Sparse and Compressive Sensing Techniques인용 수 8

한 줄 요약

이 논문은 깊이 있는 학습에서 실용적인 전산 조정(full-matrix adaptive regularization)을 가능하게 하는 확장 가능한 전체 행렬 적응 최적화기 GGT를 소개한다. 이는 낮은 질량의 행렬의 역제곱근을 효율적으로 계산함으로써, 비볼록 최적화에서의 첫 번째 국소 최소값으로의 수렴 보장을 첫 번째로 철학적으로 보장한다. 다양한 합성 및 표준 깊이 있는 학습 벤치마크에서 더 빠른 훈련을 보여준다.

ABSTRACT

Adaptive regularization methods come in diagonal and full-matrix variants. However, only the former have enjoyed widespread adoption in training large-scale deep models. This is due to the computational overhead of manipulating a full matrix in high dimension. In this paper, we show how to make full-matrix adaptive regularization practical and useful. We present GGT, a truly scalable full-matrix adaptive optimizer. At the heart of our algorithm is an efficient method for computing the inverse square root of a low-rank matrix. We show that GGT converges to first-order local minima, providing the first rigorous theoretical analysis of adaptive regularization in non-convex optimization. In preliminary experiments, GGT trains faster across a variety of synthetic tasks and standard deep learning benchmarks.

연구 동기 및 목표

• 전체 행렬 적응 조정이 이론적으로 유리하지만 그 사용이 국소적 사용에 국한된 계산 비효율성 문제를 해결하기 위해.
• 고차원 깊이 있는 학습 모델에서 전체 행렬 적응 조정을 가능하게 하는 확장 가능한 알고리즘 개발을 위해.
• 비볼록 최적화에서 적응 조정의 수렴에 대한 엄밀한 이론적 분석을 제공하기 위해.
• 훈련 속도와 성능 면에서 전체 행렬 대비 대각선 적응 방법의 경험적 우월성을 입증하기 위해.

제안 방법

• 핵심 혁신은 낮은 질량의 행렬의 역제곱근을 계산하는 효율적인 알고리즘으로, 계산 오버헤드를 감소시킨다.
• GGT는 헤시안 유사 행렬을 낮은 질량의 업데이트로 근사함으로써 전체 행렬 적응 업데이트 규칙을 유지한다.
• 행렬 분해와 반복 정밀화를 활용하여 전체 행렬 역행렬 없이 역제곱근을 계산한다.
• 미니배치 훈련에 적합한 스트로스틱 최적화 프레임워크에 전체 행렬 업데이트를 통합한다.
• 구조적 낮은 질량 근사에 의해 수치 안정성과 계산 효율성을 보장하는 알고리즘이다.
• 이론적 분석은 표준 비볼록 최적화 가정 하에 첫 번째 국소 최소값으로의 수렴을 확립한다.

실험 결과

연구 질문

• RQ1 대규모 깊이 있는 학습에 대해 전체 행렬 적응 조정을 계산적으로 실용적으로 만들 수 있는가?
• RQ2 비볼록 설정에서 전체 행렬 적응 최적화기가 첫 번째 국소 최소값으로 수렴하는가?
• RQ3 전체 행렬 적응 조정은 대각선 변형 대비 훈련 속도와 수렴 면에서 어떻게 비교되는가?
• RQ4 고차원에서 전체 행렬 조정자 유지 및 업데이트의 계산 비용은 얼마인가?

주요 결과

• GGT는 다양한 합성 작업에서 대각선 적응 방법보다 더 빠른 훈련 수렴을 달성한다.
• GGT는 표준 깊이 있는 학습 벤치마크에서 뛰어난 성능을 보이며 훈련 시간을 단축시킨다.
• 이 알고리즘은 비볼록 최적화에서 전체 행렬 적응 조정에 대해 첫 번째로 엄밀한 이론적 수렴 보장을 제공한다.
• 효율적인 역제곱근 계산은 전산 비용이 막대하지 않은 전체 행렬 업데이트를 가능하게 한다.
• 낮은 질량 근사 덕분에 고차원 환경에서도 수치 안정성과 확장성을 유지한다.