[论文解读] Hybrid and iteratively reweighted regularization by unbiased predictive risk and weighted GCV

Rosemary A. Renaut, Saeed Vatankhah+1 more|arXiv (Cornell University)|Aug 31, 2015

Numerical methods in inverse problems被引用 5

一句话总结

本文提出一种混合正则化方法，结合无偏预测风险估计（UPRE）与加权广义交叉验证（GCV），用于通过Golub-Kahan双对角化求解大规模病态问题。结果表明，为投影子空间选择的正则化参数能紧密逼近完整问题的最优参数，从而在欠定系统中也能实现稳定且保持边缘特征的解。

ABSTRACT

Tikhonov regularization for projected solutions of large-scale ill-posed problems is considered. The Golub-Kahan iterative bidiagonalization is used to project the problem onto a subspace and regularization then applied to find a subspace approximation to the full problem. Determination of the regularization parameter using the method of unbiased predictive risk estimation is considered and contrasted with the generalized cross validation and discrepancy principle techniques. Examining the unbiased predictive risk estimator for the projected problem, it is shown that the obtained regularized parameter provides a good estimate for that to be used for the full problem with the solution found on the projected space. The connection between regularization for full and projected systems for the discrepancy and generalized cross validation estimators is also discussed and an argument for the weight parameter in the weighted generalized cross validation approach is provided. All results are independent of whether systems are over or underdetermined, the latter of which has not been considered in discussions of regularization parameter estimation for projected systems. Numerical simulations for standard one dimensional test problems and two dimensional data for both image restoration and tomographic image reconstruction support the analysis and validate the techniques. The size of the projected problem is found using an extension of a noise revealing function for the projected problem. Furthermore, an iteratively reweighted regularization approach for edge preserving regularization is extended for projected systems, providing stabilization of the solutions of the projected systems with respect to the determination of the size of the projected subspace.

研究动机与目标

• 为解决大规模病态问题中正则化参数选择的挑战，特别是在先前研究有限的欠定系统中。
• 通过无偏预测风险估计，建立投影系统与完整系统正则化参数之间的理论与数值联系。
• 将迭代重加权正则化方法扩展至投影系统，以提升图像重建与断层扫描重构中的边缘保持性与解的稳定性。
• 提出一种噪声揭示函数，以数据驱动方式确定投影子空间的最优尺寸。

提出的方法

• 使用Golub-Kahan双对角化将大规模病态问题投影到低维子空间，降低计算复杂度。
• 在投影问题上应用无偏预测风险估计（UPRE）以确定正则化参数，确保最小化期望预测误差。
• 将UPRE与广义交叉验证（GCV）及不一致原则进行比较，验证投影问题与完整问题参数的一致性。
• 提出一种加权GCV方法，引入理论依据充分的权重参数，以提升参数估计的稳定性。
• 将迭代重加权正则化方法扩展至投影系统，以增强图像重建与断层扫描重构中的边缘保持性。
• 采用扩展的噪声揭示函数，根据数据特征确定投影子空间的最优维数。

实验结果

研究问题

• RQ1 能否可靠地用投影问题中获得的正则化参数近似病态系统中完整问题的最优参数？
• RQ2 在投影系统中，无偏预测风险估计（UPRE）与GCV及不一致原则在参数选择上的表现如何比较？
• RQ3 加权GCV方法中权重参数的理论依据是什么？
• RQ4 迭代重加权正则化能否有效扩展至投影系统，以实现边缘保持与解的稳定？
• RQ5 如何利用噪声揭示函数在过定与欠定情况下最优确定投影子空间的尺寸？

主要发现

• 通过UPRE在投影问题中获得的正则化参数，能对完整问题的最优参数提供强有力近似，确保解的准确恢复。
• 对不一致原则与GCV，已从理论上验证完整系统与投影系统正则化参数之间的关联，扩展了其在欠定系统中的适用性。
• 所提出的加权GCV方法包含理论依据充分的权重参数，显著提升了参数估计的稳定性与准确性。
• 在1D与2D测试问题上的数值模拟结果表明，采用UPRE或加权GCV的投影系统所获解，与完整系统正则化结果相当。
• 应用于投影系统的迭代重加权正则化方法，能有效抑制子空间维数变化带来的影响，提升鲁棒性。
• 扩展的噪声揭示函数成功识别出最优投影子空间尺寸，在精度与计算效率之间实现良好平衡。