[论文解读] Computational methods for large-scale inverse problems: a survey on hybrid projection methods

Julianne Chung, Silvia Gazzola|arXiv (Cornell University)|May 15, 2021

Numerical methods in inverse problems参考文献 194被引用 14

一句话总结

本文全面综述了将Krylov子空间迭代方法与变分正则化技术相结合的混合投影方法，用于求解大规模线性反问题。通过协同整合迭代投影与Tikhonov正则化，该方法能够为图像去模糊和计算机断层扫描等应用提供高效、稳定且可扩展的解决方案，具备自动正则化参数选择能力，并对噪声具有鲁棒性。

ABSTRACT

This paper surveys an important class of methods that combine iterative projection methods and variational regularization methods for large-scale inverse problems. Iterative methods such as Krylov subspace methods are invaluable in the numerical linear algebra community and have proved important in solving inverse problems due to their inherent regularizing properties and their ability to handle large-scale problems. Variational regularization describes a broad and important class of methods that are used to obtain reliable solutions to inverse problems, whereby one solves a modified problem that incorporates prior knowledge. Hybrid projection methods combine iterative projection methods with variational regularization techniques in a synergistic way, providing researchers with a powerful computational framework for solving very large inverse problems. Although the idea of a hybrid Krylov method for linear inverse problems goes back to the 1980s, several recent advances on new regularization frameworks and methodologies have made this field ripe for extensions, further analyses, and new applications. In this paper, we provide a practical and accessible introduction to hybrid projection methods in the context of solving large (linear) inverse problems.

研究动机与目标

• 为从事大规模反问题研究的科研人员提供一种实用且易于理解的混合投影方法入门介绍。
• 通过展示其协同整合，弥合迭代投影方法与变分正则化之间的差距。
• 突出强调正则化框架与方法学的最新进展，这些进展使混合方法在大规模问题中尤为有效。
• 通过软件工具支持实现，并提供参数选择、预条件化和计算效率方面的指导。
• 鼓励未来研究将先进先验信息、不确定性量化以及机器学习技术融入混合投影框架中。

提出的方法

• 将Krylov子空间方法（如GMRES、CGLS）与变分Tikhonov正则化相结合，以同时利用迭代投影与先验知识。
• 采用混合方法：将解投影到Krylov子空间中，随后通过Tikhonov型泛函最小化实现正则化。
• 采用两步算法：(1) 通过矩阵-向量乘积生成Krylov子空间，(2) 在子空间中求解一个小规模的正则化最小二乘问题。
• 通过诸如偏差原则或L曲线法等技术实现自动正则化参数选择。
• 支持通过矩阵、函数句柄或基于对象的算子实现灵活的代码实现，适用于稀疏矩阵和高性能计算环境。
• 集成预条件化与回收技术，以降低存储与计算成本，尤其适用于大规模问题。

实验结果

研究问题

• RQ1 如何将迭代投影方法与变分正则化相结合，以提升大规模反问题求解的稳定性与效率？
• RQ2 混合投影方法中的关键算法选择有哪些，包括子空间投影与正则化参数选择？
• RQ3 在图像去模糊与断层重建中，混合方法相较于标准迭代方法或仅正则化方法的表现如何？
• RQ4 在实现混合投影方法时，计算与存储的权衡是什么，如何加以缓解？
• RQ5 混合投影框架能够支持哪些未来扩展，如不确定性量化、深度学习集成或流式数据处理？

主要发现

• 混合投影方法有效结合了Krylov方法的正则化特性与Tikhonov正则化的先验知识引入能力，为大规模反问题提供了稳定解。
• 该方法支持自动正则化参数选择与停止准则，减少用户干预，同时保持解的准确性。
• 该方法在图像去模糊与计算机断层扫描中表现极为有效，已通过IR Tools MATLAB工具箱和真实世界测试问题得到验证。
• 通过子空间投影与回收技术管理存储与计算成本，使方法在大规模问题中仍具可扩展性。
• 该框架支持与高性能计算和分布式架构的集成，适用于冷冻电镜与大气监测等数据密集型应用。
• 近期扩展在不确定性量化、最优实验设计以及与机器学习的集成方面展现出广阔前景，预示着其在未来的广泛应用潜力。