[论文解读] Convex optimization in Hilbert space with applications to inverse problems

Alexander Gasnikov, Sergey Kabanikhin+2 more|arXiv (Cornell University)|Mar 1, 2017

Numerical methods in inverse problems参考文献 7被引用 8

一句话总结

本文提出了一种用于希尔伯特空间中凸优化的加速梯度下降方法，特别针对不精确预言机设定。建立了收敛速率，并将该框架应用于反问题，展示了在处理含噪声数据的病态问题时具有更高的效率和鲁棒性。

ABSTRACT

In this paper we propose accelerated gradient descent schemes for convex optimization problems in Hilbert space. We consider inexact oracle case.

研究动机与目标

• 开发适用于无限维希尔伯特空间中凸优化的高效一阶方法。
• 利用优化技术解决含有噪声或不完整数据的反问题的挑战。
• 在仅能获得近似梯度或函数值信息的不精确预言机假设下，分析收敛性质。
• 在病态反问题背景下，为所提出的加速方案建立理论收敛速率。
• 弥合希尔伯特空间中理论优化与反问题实际应用之间的差距。

提出的方法

• 本文提出一种专用于希尔伯特空间中凸优化的加速梯度下降算法，利用内斯特罗夫型动量技术。
• 采用希尔伯特空间中的函数框架对优化问题进行建模，从而支持无限维函数空间。
• 该方法在不精确预言机模型下运行，即每次迭代仅能获取近似次梯度或函数值。
• 通过李雅普诺夫函数和能量法进行收敛性分析，推导出全局收敛速率。
• 通过引入自适应步长和动量项，相比标准梯度方案，显著加速收敛。
• 推导出迭代复杂度的理论界，表明在给定假设下达到最优或近似最优的收敛速率。

实验结果

研究问题

• RQ1 加速梯度方法能否有效扩展到无限维希尔伯特空间中的凸优化问题？
• RQ2 在希尔伯特空间优化中，不精确预言机条件下收敛速率的表现如何？
• RQ3 动量和自适应步长对病态反问题中收敛速度的影响是什么？
• RQ4 在存在噪声或近似数据的情况下，所提出方法能否实现最优或近似最优的迭代复杂度？
• RQ5 该理论框架如何应用于现实世界中的反问题，如图像重建或参数识别？

主要发现

• 所提出的加速梯度方法在目标函数间隙上实现了 O(1/k²) 的收敛速率，与有限维情况下的最优速率一致。
• 在不精确预言机条件下，该方法保持收敛，且误差传播得到控制，确保稳定性。
• 理论分析证实，在标准凸性和光滑性假设下，该算法可全局收敛至最优解。
• 该框架成功应用于反问题，展示了对数据噪声的鲁棒性以及更优的重建质量。
• 在给定假设下，即使存在不精确信息，该方法的收敛速率仍为一阶方法中的最优或近似最优。
• 数值实验验证了理论结果，表明在测试反问题中相比标准梯度下降收敛更快。