[论文解读] Learning to Warm-Start Fixed-Point Optimization Algorithms

Rajiv Sambharya, Georgina Hall+2 more|arXiv (Cornell University)|Sep 14, 2023

Model Reduction and Neural NetworksPhysics and Astronomy被引用 3

一句话总结

该论文提出了一种可学习的框架，利用神经网络为定点优化算法生成热启动，显著减少了迭代次数和求解时间。通过训练网络以最小化下游定点残差或解距离，该方法在控制、统计和信号处理等应用中实现了更快的收敛速度，并为收缩型、线性收敛型和平均型算子提供了理论上的泛化保证。

ABSTRACT

We introduce a machine-learning framework to warm-start fixed-point optimization algorithms. Our architecture consists of a neural network mapping problem parameters to warm starts, followed by a predefined number of fixed-point iterations. We propose two loss functions designed to either minimize the fixed-point residual or the distance to a ground truth solution. In this way, the neural network predicts warm starts with the end-to-end goal of minimizing the downstream loss. An important feature of our architecture is its flexibility, in that it can predict a warm start for fixed-point algorithms run for any number of steps, without being limited to the number of steps it has been trained on. We provide PAC-Bayes generalization bounds on unseen data for common classes of fixed-point operators: contractive, linearly convergent, and averaged. Applying this framework to well-known applications in control, statistics, and signal processing, we observe a significant reduction in the number of iterations and solution time required to solve these problems, through learned warm starts.

研究动机与目标

• 减少参数化优化问题中定点迭代的次数和求解时间。
• 开发一种数据驱动的框架，学习热启动而非修改算法步骤，从而保持收敛性保证。
• 为常见定点算子类（收缩型、线性收敛型和平均型）提供未见问题实例的泛化边界。
• 实现对任意数量定点迭代的泛化，无论训练时使用的迭代次数如何。
• 无缝集成到现有的可证明收敛的定点求解器中，而不改变其核心动态。

提出的方法

• 一个神经网络将问题参数 θ 映射为定点迭代的初始猜测（热启动）。
• 该框架使用两种端到端损失函数：一种最小化定点残差 ∥Tθ(z) − z∥₂，另一种最小化与真实解的距离。
• 网络经过训练，以预测在固定数量定点迭代后能最小化下游损失的热启动。
• 该架构具有灵活性：可泛化到任意数量的迭代，即使超出训练时使用的迭代数。
• 理论分析为收缩型、线性收敛型和平均型定点算子提供了 PAC-Bayes 泛化边界。
• 该方法保持了底层定点算法的收敛性，因为网络仅影响初始化，而不影响更新规则。

实验结果

研究问题

• RQ1 学习到的热启动是否能显著减少达到收敛所需的定点迭代次数？
• RQ2 所提出的框架是否能泛化到未见的问题实例以及任意数量的定点迭代？
• RQ3 能否为常见的定点算子类（如收缩映射和平均映射）建立泛化保证？
• RQ4 在实际应用中，学习到的热启动与标准初始化策略相比性能如何？
• RQ5 该框架能否应用于控制、统计和信号处理等多样化领域，同时保持收敛性和效率？

主要发现

• 所提出的框架在控制、统计和信号处理等多个应用中显著减少了定点迭代次数和求解时间。
• 由于架构设计，该方法可泛化到任意数量的定点迭代，即使这些迭代在训练中未出现过。
• 为收缩型、线性收敛型和平均型定点算子建立了 PAC-Bayes 泛化边界，确保在未见数据上的鲁棒性。
• 神经网络的热启动预测通过端到端方式最小化定点残差或解距离，从而实现更快的收敛。
• 该方法保持了底层定点算法的收敛性保证，因为仅初始化过程被学习，而非更新规则。
• 实验结果表明，在求解参数化优化问题时实现了显著的速度提升，证明了学习到的热启动在实际应用中的有效性。