[논문 리뷰] AutoLoss: Learning Discrete Schedules for Alternate Optimization.

Haowen Xu, Hao Zhang외 4명|arXiv (Cornell University)|2018. 09. 27.

Neural Networks and Applications인용 수 11

한 줄 요약

AutoLoss는 기계 학습에서 번갈아 가며 목적 함수를 최적화하는 데 있어 자동으로 이산 최적화 스케줄을 학습하는 메타학습 프레임워크입니다. 메타데이터를 사용하여 스케줄을 데이터 기반의 동적 정책으로 모델링함으로써, GAN 학습, NMT, MLP 분류, 이차 회귀와 같은 다양한 작업에서 수렴 품질을 향상시키며, 새로운 모델과 데이터셋으로의 일반화도 가능합니다.

ABSTRACT

Many machine learning problems involve iteratively and alternately optimizing different task objectives with respect to different sets of parameters. Appropriately scheduling the optimization of a task objective or a set of parameters is usually crucial to the quality of convergence. In this paper, we present AutoLoss, a meta-learning framework that automatically learns and determines the optimization schedule. AutoLoss provides a generic way to represent and learn the discrete optimization schedule from metadata, allows for a dynamic and data-driven schedule in ML problems that involve alternating updates of different parameters or from different loss objectives. We apply AutoLoss on four ML tasks: d-ary quadratic regression, classification using a multi-layer perceptron (MLP), image generation using GANs, and multi-task neural machine translation (NMT). We show that the AutoLoss controller is able to capture the distribution of better optimization schedules that result in higher quality of convergence on all four tasks. The trained AutoLoss controller is generalizable -- it can guide and improve the learning of a new task model with different specifications, or on different datasets.

연구 동기 및 목표

• 번갈아 가며 목적 함수를 최적화하는 상황에서 효과적인 최적화 스케줄을 수작업으로 설계하는 데 도전하는 것.
• 기계 학습에서 수렴 품질을 향상시키는 이산 스케줄을 학습하는 일반적인 데이터 기반 방법을 개발하는 것.
• 학습된 스케줄이 다양한 모델, 아키텍처 및 데이터셋 간에 일반화될 수 있도록 하는 것.
• 다중 목적 또는 다중 파rameter 학습 설정에서 손실 최적화의 스케줄링을 자동화하는 것.
• 번갈아 가는 업데이트를 포함하는 복잡한 기계 학습 파이프라인을 최적화하기 위한 확장 가능하고 적응 가능한 프레임워크를 제공하는 것.

제안 방법

• AutoLoss는 모델 아키텍처, 데이터 통계, 학습 진행 상황과 같은 입력 메타데이터를 기반으로 이산 최적화 스케줄을 예측하는 컨트롤러를 메타학습을 통해 훈련합니다.
• 이 방법은 최적화 스케줄을 손실 또는 파ram터 업데이트의 이산 시퀀스로 표현하며, 미분 가능한 정책 네트워크를 통해 학습합니다.
• 최종 모델 성능을 최대화하기 위한 강화학습 기반의 훈련 목표를 사용하며, 각 학습 단계에서 스케줄 결정을 수행합니다.
• 컨트롤러는 다양한 작업과 구성의 분포에서 훈련되어, 새로운 미사용 모델과 데이터셋으로의 일반화가 가능합니다.
• 이전 학습 런에서 학습된 패턴에 기반해 각 단계에서 어떤 손실 또는 파ram터 세트를 최적화할지 동적으로 선택합니다.
• 스케줄 자체는 이산적이지만, 기울기 기반 최적화를 사용해 스케줄 정책의 엔드 투 엔드 훈련을 지원합니다.

실험 결과

연구 질문

• RQ1 학습된 데이터 기반 최적화 스케줄이 번갈아 가는 최적화 문제에서 수작업 설계 또는 고정된 스케줄보다 우수한가요?
• RQ2 AutoLoss 컨트롤러는 다양한 모델 아키텍처와 데이터셋 간에 어느 정도 일반화될 수 있나요?
• RQ3 AutoLoss는 다양한 기계 학습 작업에서 수렴 품질 향상에 얼마나 효과적인가요?
• RQ4 메타데이터만으로 재훈련 없이도 컨트롤러가 새로운 작업에 적응할 수 있나요?
• RQ5 스케줄의 다양성과 분포 학습이 최종 모델 성능에 어떤 영향을 미치나요?

주요 결과

• AutoLoss는 네 가지 다른 기계 학습 작업에서 더 높은 수준의 수렴 품질을 이끄는 최적화 스케줄을 성공적으로 학습했습니다.
• 재훈련 없이도 다른 아키텍처와 데이터셋을 가진 새로운 모델에 대해 효과적으로 일반화되었습니다.
• 학습 진행 상황에 따라 적응하는 동적이고 데이터 기반의 스케줄을 학습함으로써 수렴 품질을 향상시켰습니다.
• 고성능 스케줄의 분포를 포착함으로써 다양한 설정에서 일관된 성능 향상을 가능하게 했습니다.
• GAN 학습 및 다중 작업 NMT와 같은 복잡한 작업에서도 AutoLoss는 강건성과 적응성을 입증했습니다.
• 모든 평가된 작업에서 고정 또는 히우리스틱 스케줄링 전략보다 뛰어난 성능을 달성했습니다.