[논문 리뷰] Learning to Optimize: A Primer and A Benchmark

Tianlong Chen, Xiaohan Chen외 5명|arXiv (Cornell University)|2021. 03. 23.

Machine Learning and Data Classification참고 문헌 240인용 수 92

한 줄 요약

학습 최적화(L2O) 방법에 대한 연속 최적화에 대한 포괄적 고찰 및 벤치마크로, 분류 체계, 아키텍처(모델-프리 및 모델-기반), 학습 전략, 재현 가능한 Open-L2O 벤치마크를 개요로 제시한다.

ABSTRACT

Learning to optimize (L2O) is an emerging approach that leverages machine learning to develop optimization methods, aiming at reducing the laborious iterations of hand engineering. It automates the design of an optimization method based on its performance on a set of training problems. This data-driven procedure generates methods that can efficiently solve problems similar to those in the training. In sharp contrast, the typical and traditional designs of optimization methods are theory-driven, so they obtain performance guarantees over the classes of problems specified by the theory. The difference makes L2O suitable for repeatedly solving a certain type of optimization problems over a specific distribution of data, while it typically fails on out-of-distribution problems. The practicality of L2O depends on the type of target optimization, the chosen architecture of the method to learn, and the training procedure. This new paradigm has motivated a community of researchers to explore L2O and report their findings. This article is poised to be the first comprehensive survey and benchmark of L2O for continuous optimization. We set up taxonomies, categorize existing works and research directions, present insights, and identify open challenges. We also benchmarked many existing L2O approaches on a few but representative optimization problems. For reproducible research and fair benchmarking purposes, we released our software implementation and data in the package Open-L2O at https://github.com/VITA-Group/Open-L2O.

연구 동기 및 목표

• 학습 최적화(L2O) 패러다임을 정의하고 이를 고전적인 이론 주도 최적화 방법과 대조한다.
• 모델-프리(model-free) 및 모델-기반(model-based) L2O 접근법과 그들의 학습 메커니즘을 조사한다.
• 공정한 비교를 위한 벤치마크 실험과 재현 가능한 Open-L2O 자원을 제공한다.

제안 방법

• L2O 접근법을 모델-프리와 모델-기반으로 분류하고, 아키텍처(예: LSTM, RNN, MLP)와 업데이트 규칙의 수식을 자세히 설명한다.
• 수평 T에 걸친 목표 값의 가중합을 최적화하는 unrolling 기반 학습 목표(Eq. 1)를 설명한다.
• 일반화와 안정성을 향상시키기 위한 설계 선택(입력 특징, 기본 옵티마이저 통합, 학습 전략)을 논의한다.
• 절단 편향, 메모리 한계, 일반화 문제를 다루는 주요 기법들을 요약한다(예: 무작위 스케일링, 계층적 RNN, 오프-정책 모방).
• 대체 구현(강화학습, 신경 기호적 방법)과 비-기울기 최적화 작업(블랙박스, 미니맥스)을 제시한다.
• 재현 가능한 평가를 위한 Open-L2O 벤치마크 스위트를 제공한다.

실험 결과

연구 질문

• RQ1 L2O 옵티마이저를 어떻게 형식화하고 훈련시켜 유사한 작업 분포에서 기존 수작업 옵티마이저를 능가하도록 만들 수 있을까?
• RQ2 L2O에서 주요 모델-기반 및 모델-프리 접근 방식은 무엇이며, 이들의 학습 목표와 아키텍처가 성능 및 일반화에 어떤 영향을 미치는가?
• RQ3 L2O에서 절단 편향 및 메모리 병목과 같은 문제를 완화하는 학습 기법과 아키텍처 설계는 무엇인가?
• RQ4 블랙박스, 미니맥스, 군집 기반 문제와 같은 비표준 최적화 작업에서 모델-프리 L2O 방법은 어떻게 성능을 보이나?
• RQ5 재현 가능한 L2O 방법 평가를 가능하게 하는 자원과 벤치마크(Open-L2O)는 무엇이 있는가?

주요 결과

• 적절한 학습 하에서 같은 작업 분포의 보지 못한 최적화 대상에 대해 L2O 방법은 고전적 옵티마이저보다 더 빠르게 수렴할 수 있다.
• 모델-프리 L2O는 주로 RNN/LSTM을 사용하여 업데이트 규칙을 학습하며 효율성 향상을 달성할 수 있지만 더 긴 호라이즌에 대해 일반화 및 안정성 문제에 직면한다.
• 모델-기반 L2O는 기존 최적화 구조를 시작점으로 활용하여 탐색 공간을 축소하고 강인성을 향상시킨다.
• 학습 기법(예: 절단 관리, 무작위 스케일링, 계층적 아키텍처)은 불안정을 완화하고 일반화를 향상시키는 데 도움을 준다.
• Open-L2O는 대표적인 최적화 문제에 걸쳐 L2O 방법을 벤치마크하기 위한 재현 가능한 소프트웨어와 데이터를 제공한다.