[논문 리뷰] Tasks, stability, architecture, and compute: Training more effective learned optimizers, and using them to train themselves

Luke Metz, Niru Maheswaranathan외 3명|arXiv (Cornell University)|2020. 09. 23.

Machine Learning and Data Classification참고 문헌 67인용 수 14

한 줄 요약

이 논문은 수천 개의 다양한 기계학습 작업을 대규모 컴퓨팅 자원을 사용해 훈련시킨 확장성 있고 일반적인 성능을 보이는 학습된 최적화 방법을 소개한다. 이 방법은 검증 손실 및 기타 작업 특징에 액세스할 수 있는 계층적 신경망 아키텍처를 사용하여 강건한 일반화와 자기 훈련 능력을 가능하게 하며, 안정성, 적응성, 분포 외 성능 측면에서 이전 방법들을 능가한다.

ABSTRACT

Much as replacing hand-designed features with learned functions has revolutionized how we solve perceptual tasks, we believe learned algorithms will transform how we train models. In this work we focus on general-purpose learned optimizers capable of training a wide variety of problems with no user-specified hyperparameters. We introduce a new, neural network parameterized, hierarchical optimizer with access to additional features such as validation loss to enable automatic regularization. Most learned optimizers have been trained on only a single task, or a small number of tasks. We train our optimizers on thousands of tasks, making use of orders of magnitude more compute, resulting in optimizers that generalize better to unseen tasks. The learned optimizers not only perform well, but learn behaviors that are distinct from existing first order optimizers. For instance, they generate update steps that have implicit regularization and adapt as the problem hyperparameters (e.g. batch size) or architecture (e.g. neural network width) change. Finally, these learned optimizers show evidence of being useful for out of distribution tasks such as training themselves from scratch.

연구 동기 및 목표

• 수천 개의 다양한 작업으로 훈련을 확장시켜 이전의 학습된 최적화 방법의 취약성과 낮은 일반화 능력을 극복하기 위해.
• 검증 손실 및 아키텍처 메타데이터와 같은 추가 작업 신호를 통합하여 최적화 방법의 강건성을 향상시키기 위해.
• 더 나은 성능와 일반화 능력을 위해 강한 인덕티브 바이어스를 지닌 계층적, 신경망 기반 최적화 방법 아키텍처를 설계하기 위해.
• 학습된 최적화 방법이 새로운 최적화 방법을 처음부터 훈련시킬 수 있도록 하여, 자기 호스팅 능력(자기 컴iles하는 컴파일러와 유사)을 입증하기 위해.
• 낮은 변동성과 높은 정밀도를 갖춘 확장성 있고 고성능 컴퓨팅 파이프라인을 구축하여 학습된 최적화 방법의 훈련 및 평가를 수행하기 위해.

제안 방법

• 최적화 방법은 이중 최적화를 통해 훈련된다: 외부 루프에서 다양한 내부 작업의 성능에 기반해 최적화 방법의 파라미터가 업데이트된다.
• 계층적 신경망 아키텍처가 기울기, 검증 손실 및 모델 하이퍼파라미터를 처리하여 적응형 파라미터 업데이트를 생성한다.
• 훈련 데이터셋은 배치 크기, 네트워크 너비, 데이터 분포의 변형이 포함된 1,000개 이상의 다양한 기계학습 작업을 포함한다.
• 대규모 스케일 훈련은 약 60,000개의 CPU 코어를 한 달간 사용하여 (~5,000 CPU 년), 장기간의 언롤링과 안정적인 외부 손실 추정을 가능하게 한다.
• 분산 평가 시스템은 평가 책임자와 워커를 통해 보류된 작업에서 전체 훈련 궤적을 실행하여 일반화 능력을 측정한다.
• 요약 집계는 RPC를 통해 배치 처리와 확률적 로깅을 통해 수행되어 오버헤드를 최소화하고 사후 분석을 가능하게 한다.

실험 결과

연구 질문

• RQ1 학습된 최적화 방법은 단지 몇 개의 작업이 아니라 수천 개의 다양한 기계학습 작업에 효과적으로 일반화할 수 있는가?
• RQ2 검증 손실과 아키텍처 메타데이터를 통합하면 학습된 최적화 방법의 안정성과 성능이 향상되는가?
• RQ3 학습된 최적화 방법이 새로운 최적화 방법을 처음부터 훈련시킬 수 있는가? 즉, 자기 호스팅 능력을 입증할 수 있는가?
• RQ4 컴퓨팅 자원과 작업 다양성의 확장이 학습된 최적화 방법의 일반화 능력과 강건성에 어떤 영향을 미치는가?
• RQ5 이러한 시스템을 훈련시키는 데 드는 계산 및 환경 비용는 무엇이며, 이를 더 효율적으로 만들 수 있는가?

주요 결과

• 1,000개 이상의 다양한 작업으로 구성된 분포에서 훈련된 덕분에 학습된 최적화 방법은 새로운 작업, 특히 다른 배치 크기와 네트워크 너비를 가진 작업에 효과적으로 일반화된다.
• 표준 1차 최적화 방법과 달리, 최적화 방법은 업데이트 규칙을 통해 암묵적인 정규화를 학습하여 하이퍼파라미터와 아키텍처의 변화에 동적으로 적응한다.
• 학습된 최적화 방법이 새로운 학습된 최적화 방법을 처음부터 성공적으로 훈련시켜 자기 호스팅 능력을 입증하였으며, 자기 컴iles하는 컴파일러와 유사한 핵심 성취이다.
• 분포 외 작업에 대한 평가 결과에서 뛰어난 성능을 보여 학습된 최적화 방법이 메타 훈련 분포를 초월한 강건성을 확보하고 있음을 확인했다.
• 훈련 과정은 약 60,000개의 CPU 코어를 한 달간 사용하여 약 200메가와트시의 에너지를 소비하였으며, 이는 높은 계산 비용을 시사한다.
• 높은 계산 비용에도 불구하고, 저자들은 이러한 최적화 방법이 한 번 훈련되면 하류 훈련에서 하이퍼파라미터 튜닝이 필요 없어지므로 장기적으로는 절감 효과가 있을 것이라고 주장한다.