[논문 리뷰] Automatic Gradient Descent: Deep Learning without Hyperparameters

Jeremy Bernstein, Chris Mingard외 3명|arXiv (Cornell University)|2023. 04. 11.

Advanced Neural Network Applications인용 수 6

한 줄 요약

이 논문은 Bregman 발산과 딥 린크 트러스트를 통해 네트워크 아키텍처를 명시적으로 활용하는 하이퍼파rameter가 없는 1차 최적화 방법인 자동 경사 하강법(AGD)을 소개한다. AGD는 학습률 조정 없이도 CIFAR-10과 ImageNet에서 최신 기술 수준의 성능을 달성하며, 수동 하이퍼파rameter 조정 없이도 완전히 연결된 네트워크와 컨볼루션 네트워크를 즉시 사용할 수 있다.

ABSTRACT

The architecture of a deep neural network is defined explicitly in terms of the number of layers, the width of each layer and the general network topology. Existing optimisation frameworks neglect this information in favour of implicit architectural information (e.g. second-order methods) or architecture-agnostic distance functions (e.g. mirror descent). Meanwhile, the most popular optimiser in practice, Adam, is based on heuristics. This paper builds a new framework for deriving optimisation algorithms that explicitly leverage neural architecture. The theory extends mirror descent to non-convex composite objective functions: the idea is to transform a Bregman divergence to account for the non-linear structure of neural architecture. Working through the details for deep fully-connected networks yields automatic gradient descent: a first-order optimiser without any hyperparameters. Automatic gradient descent trains both fully-connected and convolutional networks out-of-the-box and at ImageNet scale. A PyTorch implementation is available at https://github.com/jxbz/agd and also in Appendix B. Overall, the paper supplies a rigorous theoretical foundation for a next-generation of architecture-dependent optimisers that work automatically and without hyperparameters.

연구 동기 및 목표

• 딥러닝 최적화에서 수동 하이퍼파ram터 조정이 필요 없도록 하는 것.
• 대규모 모델과 데이터셋에 스케일링 가능한 이론적으로 탄탄한 아키텍처 인식 최적화 프레임워크를 개발하는 것.
• Bregman 발산과 딥 린크 트러스트를 조합하여 하이퍼파rameter가 없는 1차 최적화 방법을 유도하는 것.
• 학습률 스케줄링이나 조정 없이도 ResNet-50 같은 깊은 네트워크를 ImageNet에서 신뢰성 있게 훈련할 수 있도록 하는 것.
• 자동화, 결정론적, 아키텍처에 의존적인 차세대 최적화 방법의 기반을 마련하는 것.

제안 방법

• 목적 함수의 선형화 오차를 네트워크 출력의 기능적 편미분에 대해 Bregman 발산을 사용하여 표현한다.
• 딥 린크 트러스트를 적용하여 가중치 편미분과 유도된 기능적 편미분 간의 관계를 제한함으로써 아키텍처의 비선형성을 포착한다.
• 이러한 구성 요소들을 주요-최소화 메타알고리즘을 통해 조합하여 아키텍처에 의존하는 주요 함수를 구성한다.
• 가중치 편미분에 대해 주요 함수를 최소화함으로써 하이퍼파rameter가 없는 업데이트 규칙을 도출한다.
• 경험적으로 검증된 히우리스틱 적응을 통해 프레임워크를 완전히 연결된 네트워크에서 컨볼루션 네트워크로 확장한다.
• 비점근적이고 결정론적인 분석을 표준 행렬 및 벡터 노름을 사용하여 수행하며, 랜덤 행렬 이론을 회피한다.

실험 결과

연구 질문

• RQ1 신경망 아키텍처를 명시적으로 통합함으로써 하이퍼파rameter가 완전히 없는 1차 최적화 방법을 도출할 수 있는가?
• RQ2 Bregman 발산과 딥 린크 트러스트를 어떻게 조합하여 비볼록 딥러닝 목적 함수에 대해 아키텍처 인식 주요 함수를 만들 수 있는가?
• RQ3 이러한 프레임워크는 학습률 조정이나 감쇠 스케줄 없이도 ResNet-50 같은 깊은 네트워크를 ImageNet에서 훈련시킬 수 있는가?
• RQ4 기본 하이퍼파rameter로 훈련했을 때, 이러한 최적화 방법이 Adam과 SGD와 같은 표준 방법보다 우수한 성능을 보일 수 있는가?
• RQ5 이 프레임워크는 트랜스포머나 편향이 있는 모델과 같은 다른 아키텍처로 확장될 수 있는가?

주요 결과

• AGD는 기본 학습률로 실패하는 Adam과 SGD와는 달리, CIFAR-10에서 32층의 완전히 연결된 네트워크를 성공적으로 훈련시킨다.
• ResNet-18에서 AGD는 학습률 그리드 서치를 통해 최적화된 Adam과 SGD의 성능과 유사한 테스트 정확도를 달성한다.
• AGD는 ImageNet에서 ResNet-50을 학습시켜 상위-1 테스트 정확도 65.5%를 달성하였으며, 감쇠 스케줄 없이 학습률 0.1로 훈련한 SGD와 동일한 성능을 보였다.
• 이 방법은 아키텍처에 관계없이 강건하며, 하이퍼파ram터 조정 없이 대규모 데이터셋으로도 스케일링 가능하다.
• AGD는 PyTorch로 구현되어 공개되었으며, 재현성과 향후 개발을 가능하게 한다.
• 이론적 프레임워크는 일반적이며, 손실 함수나 아키텍처의 Bregman 발산과 편미분 범위를 지정함으로써 새로운 손실 함수나 아키텍처로 쉽게 확장할 수 있다.