[논문 리뷰] Gradient Descent: The Ultimate Optimizer

Kartik Chandra, Xie, Audrey외 2명|arXiv (Cornell University)|2019. 09. 29.

Advanced Neural Network Applications참고 문헌 13인용 수 20

한 줄 요약

이 논문은 딥러닝에서의 반복적 하이퍼파rameter 최적화를 위한 완전 자동화되고 미분 가능한 프레임워크를 제안한다. 자동 미분을 사용해 학습률 및 기타 최적화기 하이퍼파rameter의 하이퍼기울기를 계산한다. 여러 수준의 기울기 기반 하이퍼최적화기들을 겹쳐 사용함으로써 초깃값에 대한 민감도를 줄이며, MLP, CNN, RNN 모두에서 각 수준당 추가로 1–2%의 런타임만 증가시켜도 강건한 학습을 달성한다.

ABSTRACT

Working with any gradient-based machine learning algorithm involves the tedious task of tuning the optimizer's hyperparameters, such as its step size. Recent work has shown how the step size can itself be optimized alongside the model parameters by manually deriving expressions for "hypergradients" ahead of time. We show how to automatically compute hypergradients with a simple and elegant modification to backpropagation. This allows us to easily apply the method to other optimizers and hyperparameters (e.g. momentum coefficients). We can even recursively apply the method to its own hyper-hyperparameters, and so on ad infinitum. As these towers of optimizers grow taller, they become less sensitive to the initial choice of hyperparameters. We present experiments validating this for MLPs, CNNs, and RNNs. Finally, we provide a simple PyTorch implementation of this algorithm (see people.csail.mit.edu/kach/gradient-descent-the-ultimate-optimizer).

연구 동기 및 목표

• 기울기 기반 최적화에서 수동 하이퍼파rameter 튜닝의 과제를 해결하기 위해 하이퍼기울기 계산을 자동화한다.
• 학습률 적응을 넘어서 모멘텀 계수와 같은 다른 하이퍼파라미터를 포함한 하이퍼파라미터 최적화를 확장한다.
• 하이퍼하이퍼파라미터 등으로 하이퍼최적화기의 반복적 스택킹을 가능하게 하여 초깃값에 대한 민감도를 줄인다.
• 스택 깊이에 따라 선형적으로 확장되며, PyTorch와 원활하게 통합되는 실용적이고 효율적인 구현을 제공한다.

제안 방법

• 수동 유도를 제거하기 위해 역방향 자동 미분을 사용해 하이퍼기울기를 자동으로 계산한다. 이는 실수를 유발하기 쉬운 기호적 연산을 피한다.
• 표준 SGD 업데이트 규칙을 수정하여 모델 가중치와 학습률 α, 모멘텀 μ와 같은 하이퍼파라미터를 함께 최적화하도록 한다.
• 모든 단계에서 역전파를 통해 최적화 과정을 거쳐 계산된 기울기를 사용해 가중치와 하이퍼파라미터를 동시에 업데이트하는 순환 업데이트 규칙을 유도한다.
• 임의의 수준의 하이퍼최적화기 스택킹을 지원하는 기울기 가능 프로그래밍 인터페이스를 구현하여 고차원 하이퍼최적화를 가능하게 한다.
• 계산 그래프를 적절히 관리하고 로깅 시 텐서 탈착을 통해 메모리 누수를 방지하는 PyTorch 기반 구현을 사용한다.
• 다양한 초깃값을 가진 MLP, CNN, RNN을 학습시켜 강건성을 평가하기 위해 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 자동 미분이 최적화기 하이퍼파라미터 튜닝에서 하이퍼기울기의 수동 유도가 필요 없도록 할 수 있는가?
• RQ2 학습률을 넘어서 모멘텀과 같은 다른 하이퍼파라미터로 하이퍼파라미터 최적화를 확장하면 학습의 강건성이 향상되는가?
• RQ3 하이퍼최적화기 스택의 반복적 스택킹이 초깃값에 대한 민감도를 줄일 수 있는가?
• RQ4 하이퍼최적화기 스택의 깊이를 늘릴 경우 계산 비용은 어떻게 증가하는가?
• RQ5 부적절한 초깃값을 가진 다양한 아키텍처, 예를 들어 MLP, CNN, RNN에서 이 방법은 어떻게 성능을 발휘하는가?

주요 결과

• 높이 1의 하이퍼최적화기는 Caltech-256에서 α = 10⁻⁶과 α = 10⁻⁴ 모두에서 약 11%의 오차를 기록했고, 표준 SGD는 α = 10⁻⁶일 경우 91.5%의 오차를 기록하며 실패했다.
• 높이 2의 하이퍼최적화기는 α = 10⁻²일 경우에도 상당한 학습 진전을 이끌어내어 나쁜 초깃값에 대한 강건성을 입증했다.
• 각 추가 하이퍼최적화기 수준당 런타임이 오직 1–2%만 증가하여 스택 깊이에 따라 선형적이고 효율적인 확장성을 보였다.
• 추가 유도 없이도 모멘텀 계수 및 기타 하이퍼파라미터로 자연스럽게 일반화되었다.
• 순환 하이퍼최적화 타워는 점점 초깃값에 대한 민감도가 감소하여 깊이가 증가할수록 강건성이 증가한다는 가설을 검증했다.
• 적절한 텐서 탈착과 계산 그래프 관리로 자동 미분의 일반적인 문제점인 메모리 누수를 성공적으로 방지했다.