[论文解读] Accelerated Forward-Backward Optimization using Deep Learning

Sebastian Banert, Jevgenija Rudzusika+2 more|arXiv (Cornell University)|May 11, 2021

Sparse and Compressive Sensing Techniques被引用 4

一句话总结

本文提出了一种通过深度学习增强的前向-后向优化框架，通过将学习到的更新约束在特定集合内，保证了收敛性，从而在早期迭代中显著优于FISTA和ISTA，同时保持理论上的收敛性。该方法利用神经网络在理论上可保证收敛的参数集合内学习最优更新。

ABSTRACT

We propose several deep-learning accelerated optimization solvers with convergence guarantees. We use ideas from the analysis of accelerated forward-backward schemes like FISTA, but instead of the classical approach of proving convergence for a choice of parameters, such as a step-size, we show convergence whenever the update is chosen in a specific set. Rather than picking a point in this set using some predefined method, we train a deep neural network to pick the best update. Finally, we show that the method is applicable to several cases of smooth and non-smooth optimization and show superior results to established accelerated solvers.

研究动机与目标

• 解决科学计算和反问题中大规模非光滑凸优化的加速挑战。
• 克服现有学习型优化方法（如LISTA）缺乏收敛性保证的问题。
• 开发一种将深度学习与前向-后向分裂方法的可证明收敛性相结合的框架。
• 在保证全局收敛的前提下，实现早期迭代的更快收敛。
• 将学习型优化方法的应用范围扩展至非光滑问题，如计算机断层扫描（CT）中的稀疏性促进正则化。

提出的方法

• 将优化问题表述为最小化一个光滑、可微的凸函数与一个非光滑、正规、凸、下半连续函数之和。
• 采用基于偏差的方法：不学习固定参数，而是在一个完整维度的集合内学习整个更新函数，以保证收敛性。
• 基于加速前向-后向算法（如FISTA）的收敛性理论，定义有效更新集合，确保只要更新位于该集合内，即可保证收敛。
• 使用监督学习方法，以真实解作为监督信号，训练深度神经网络，从该有效集合中选择最优更新。
• 引入归一化约束（公式37），以控制学习到的偏差的大小，从而在保证收敛性的同时提升性能。
• 将该方法应用于非光滑优化问题，特别是在计算机断层扫描（CT）图像重建中使用学习型前向-后向算法进行稀疏性促进正则化。

实验结果

研究问题

• RQ1 能否在保持理论收敛性保证的前提下，利用深度学习加速前向-后向优化？
• RQ2 如何定义有效更新空间，使得无论在该集合内如何选择，都能保证收敛？
• RQ3 神经网络能否有效从高维、收敛的更新集合中学习最优更新，从而优于经典求解器（如FISTA）？
• RQ4 归一化参数（如α）对收敛速度和早期迭代性能有何影响？
• RQ5 在实际应用（如CT图像重建）中，该方法能否实现比FISTA和ISTA更快的收敛速度？

主要发现

• 所提出的方法在优化的前10次迭代中，性能显著优于ISTA和FISTA，尤其在早期收敛速度方面表现突出。
• 在非光滑优化中，采用α = 0.5的归一化参数时，所学方案在测试的归一化参数中表现最佳，实现了速度与收敛性的良好平衡。
• 通过公式37进行归一化显著提升了10次迭代后的性能，并确保了全局收敛。
• 该方法收敛至精确解，证实了尽管通过深度神经网络学习，其理论收敛性保证依然成立。
• 该方法在非光滑问题（如计算机断层扫描（CT）重建中的稀疏性促进正则化）中具有良好的泛化能力。
• 该框架在仅使用少量迭代时，仍能显著优于经典求解器，且不牺牲收敛性。