[论文解读] Learning to Optimize: A Primer and A Benchmark

Tianlong Chen, Xiaohan Chen+5 more|arXiv (Cornell University)|Mar 23, 2021

Machine Learning and Data Classification参考文献 240被引用 92

一句话总结

对连续优化的学习优化（L2O）方法的综合综述和基准测试，概述分类法、架构（模型无关和基于模型）、训练策略，以及可重复的 Open-L2O 基准。

ABSTRACT

Learning to optimize (L2O) is an emerging approach that leverages machine learning to develop optimization methods, aiming at reducing the laborious iterations of hand engineering. It automates the design of an optimization method based on its performance on a set of training problems. This data-driven procedure generates methods that can efficiently solve problems similar to those in the training. In sharp contrast, the typical and traditional designs of optimization methods are theory-driven, so they obtain performance guarantees over the classes of problems specified by the theory. The difference makes L2O suitable for repeatedly solving a certain type of optimization problems over a specific distribution of data, while it typically fails on out-of-distribution problems. The practicality of L2O depends on the type of target optimization, the chosen architecture of the method to learn, and the training procedure. This new paradigm has motivated a community of researchers to explore L2O and report their findings. This article is poised to be the first comprehensive survey and benchmark of L2O for continuous optimization. We set up taxonomies, categorize existing works and research directions, present insights, and identify open challenges. We also benchmarked many existing L2O approaches on a few but representative optimization problems. For reproducible research and fair benchmarking purposes, we released our software implementation and data in the package Open-L2O at https://github.com/VITA-Group/Open-L2O.

研究动机与目标

• 定义 Learning to Optimize (L2O) 范式，并将其与经典的理论驱动优化方法进行对比。
• 综述模型无关和基于模型的 L2O 方法及其训练机制。
• 提供基准实验和可重复的 Open-L2O 资源以实现公平比较。

提出的方法

• 将 L2O 方法分为模型无关和基于模型，详细描述架构（如 LSTM、RNN、MLP）和更新规则的构成。
• 描述基于展开的训练目标，该目标在 horizon T 内对目标值的加权和进行优化（Eq. 1）。
• 讨论设计选项：输入特征、基优化器集成，以及提升泛化性与稳定性的训练策略。
• 总结应对截断偏差、内存限制和泛化能力的关键技巧（如随机缩放、分层 RNN、离策略模仿）。
• 呈现替代实现（强化学习、神经符号方法）以及非梯度优化任务（黑箱、极小极大）。
• 提供 Open-L2O 基准套件以实现可重复评估。

实验结果

研究问题

• RQ1 如何将 L2O 优化器公式化并训练，以在相似任务分布上超越传统手工设计的优化器？
• RQ2 L2O 中主要的基于模型和模型无关的方法有哪些？它们的训练目标与架构如何影响性能和泛化？
• RQ3 哪些训练技巧与架构设计可以缓解 L2O 中的截断偏差和内存瓶颈等问题？
• RQ4 模型无关的 L2O 方法在非标准优化任务（如黑箱、极小极大、群体/ swarm 基础问题）上的表现如何？
• RQ5 有哪些资源和基准（Open-L2O）可用于实现对 L2O 方法的可重复评估？

主要发现

• 在合适的训练下，L2O 方法可以在同一任务分布中的未见优化对象上比经典优化器收敛更快。
• 模型无关的 L2O 主要使用 RNNs/LSTMs 来学习更新规则，能够实现效率提升，但在较长时间范围内面临泛化和稳定性挑战。
• 基于模型的 L2O 将现有的优化结构作为起点，以减少搜索空间并提高鲁棒性。
• 训练技巧（例如截断管理、随机缩放、分层架构）有助于缓解不稳定性并增强泛化性。
• Open-L2O 提供可重复的软件和数据，以在代表性优化问题上基准 L2O 方法。