[논문 리뷰] Training Stronger Baselines for Learning to Optimize

Tianlong Chen, Weiyi Zhang외 5명|arXiv (Cornell University)|2020. 10. 18.

Machine Learning and Data Classification참고 문헌 40인용 수 6

한 줄 요약

이 논문은 기존의 학습 최적화(L2O) 모델의 아키텍처를 수정하지 않고도 성능을 크게 향상시키기 위해 점진적 커리큘럼 학습과 비정책 성능 모방 학습이라는 개선된 훈련 기법을 제안한다. 절단 편향과 기울기 폭발 문제를 완화함으로써, 가장 단순한 L2O 기반 모델조차도 여러 작업에서 더 복잡한 최신 기술 모델들을 능가하게 되며, 이는 더 나은 훈련이 아키텍처 혁신보다 L2O의 잠재력을 더 크게 펼칠 수 있음을 보여준다.

ABSTRACT

Learning to optimize (L2O) has gained increasing attention since classical optimizers require laborious problem-specific design and hyperparameter tuning. However, there is a gap between the practical demand and the achievable performance of existing L2O models. Specifically, those learned optimizers are applicable to only a limited class of problems, and often exhibit instability. With many efforts devoted to designing more sophisticated L2O models, we argue for another orthogonal, under-explored theme: the training techniques for those L2O models. We show that even the simplest L2O model could have been trained much better. We first present a progressive training scheme to gradually increase the optimizer unroll length, to mitigate a well-known L2O dilemma of truncation bias (shorter unrolling) versus gradient explosion (longer unrolling). We further leverage off-policy imitation learning to guide the L2O learning, by taking reference to the behavior of analytical optimizers. Our improved training techniques are plugged into a variety of state-of-the-art L2O models, and immediately boost their performance, without making any change to their model structures. Especially, by our proposed techniques, an earliest and simplest L2O model can be trained to outperform the latest complicated L2O models on a number of tasks. Our results demonstrate a greater potential of L2O yet to be unleashed, and urge to rethink the recent progress. Our codes are publicly available at: https://github.com/VITA-Group/L2O-Training-Techniques.

연구 동기 및 목표

• L2O에서 학습된 최적화기의 불안정성과 낮은 일반화 능력 원인을 차단 편향과 기울기 폭발 간의 상충 관계로 설명하고자 한다.
• 모델의 복잡성 증가보다 훈련 기법 향상이 L2O 모델 성능 향상에 더 큰 기여를 할 수 있는지 조사하고자 한다.
• 기존 최신 기술(L2O) 모델의 아키텍처 변경 없이도 성능을 향상시킬 수 있는 실용적이고 즉시 적용 가능한 훈련 개선 기법을 제공하고자 한다.
• 향후 L2O 분야의 진전을 공정하게 평가하기 위해 더 강력하고 신뢰할 수 있는 기반 모델을 확립하고자 한다.

제안 방법

• L2O 모델의 언롤 길이를 훈련 중 점진적으로 증가시키는 점진적 커리큘럼 학습 기법을 도입하여, 단기적 안정성과 장기적 최적화 품질 사이의 균형을 이루도록 한다.
• 수동으로 설계된 최적화기(예: Adam, SGD)를 전문가 예시로 사용하여 비정책 성능 모방 학습을 적용함으로써, 다양한 최적화 대상에 대한 일반화 능력을 향상시킨다.
• 행동 복제 목표를 사용하여 L2O 정책이 분석 최적화기의 최적화 경로와 일치하도록 하여, 훈련 과정에 도메인 지식을 통합한다.
• 커리큘럼 학습과 성능 모방 학습을 결합하여 훈련의 안정성과 일반화 능력을 동시에 향상시키며, L2O 모델의 아키텍처에 어떠한 수정도 가하지 않는다.
• 메타학습 방식으로 L2O 모델을 훈련하여 최적화 대상의 분포에 대해 손실을 최소화하면서, 제안된 훈련 기법을 적용하여 수렴성과 강건성을 향상시킨다.
• 표준 LSTM을 L2O 모델 아키텍처로 사용하여, 모델 구조보다는 훈련 동역학에 초점을 맞추어, 훈련 품질이 아키텍처 복잡성보다 뛰어날 수 있음을 입증한다.

실험 결과

연구 질문

• RQ1 아키텍처 변경 없이도 훈련 기법만으로 기존 L2O 모델의 성능을 크게 향상시킬 수 있는가?
• RQ2 점진적 언롤링은 L2O 훈련에서 절단 편향과 기울기 폭발 간의 상충 관계를 어떻게 완화하는가?
• RQ3 분석 최적화기에서 비정책 성능 모방 학습을 통해 얼마나 높은 수준의 일반화 능력을 향상시킬 수 있는가?
• RQ4 개선된 기법으로 훈련된 단순한 초기 L2O 모델이 더 복잡한 최근 최신 기술 모델들을 능가할 수 있는가?
• RQ5 커리큘럼 학습과 성능 모방 학습을 결합하면 L2O 훈련에서 상호보완적인 성능 향상 효과를 낼 수 있는가?

주요 결과

• 제안된 훈련 기법은 아키텍처 변경 없이도 평가된 모든 최신 기술 L2O 모델의 성능을 일관되게 향상시킨다.
• 원래의 가장 단순한 L2O 모델(L2O-DM [1])이 제안된 기법으로 훈련될 경우, 더 복잡한 최근 모델들을 능가한다.
• 점진적 커리큘럼 학습은 절단 편향을 효과적으로 감소시키고, 특히 장기 최적화 경로에서 훈련 안정성을 향상시킨다.
• 비정책 성능 모방 학습은 일반화 능력을 크게 향상시켜, NAS-CIFAR나 LeNet과 같은 복잡하고 미리 보지 않은 최적화 대상으로의 전이 성공을 가능하게 한다.
• 커리큘럼 학습과 성능 모방 학습을 결합하면 각각의 기법만 사용할 경우보다 더 강력한 성능 향상을 이룬다.
• 개선된 L2O 모델들은 MLP-orig와 Conv-MNIST를 포함한 여러 작업에서 최적화된 초모수를 가진 수동 설계 최적화기(예: Adam, RMSProp, SGD)를 능가한다.