[论文解读] Algorithms and software for projections onto intersections of convex and non-convex sets with applications to inverse problems

Bas Peters, Felix J. Herrmann|arXiv (Cornell University)|Feb 26, 2019

Sparse and Compressive Sensing Techniques参考文献 87被引用 4

一句话总结

本文提出PARSDMM，一种新颖的算法及名为SetIntersectionProjection的软件包，用于在反问题中高效计算多个凸与非凸约束集交集上的投影。通过自适应惩罚参数选择、并行计算和多级加速，该方法在性能上优于Dykstra算法，并可在不引入权衡参数的情况下有效利用多种先验知识进行正则化。

ABSTRACT

We propose algorithms and software for computing projections onto the intersection of multiple convex and non-convex constraint sets. The software package, called SetIntersectionProjection, is intended for the regularization of inverse problems in physical parameter estimation and image processing. The primary design criterion is working with multiple sets, which allows us to solve inverse problems with multiple pieces of prior knowledge. Our algorithms outperform the well known Dykstra's algorithm when individual sets are not easy to project onto because we exploit similarities between constraint sets. Other design choices that make the software fast and practical to use, include recently developed automatic selection methods for auxiliary algorithm parameters, fine and coarse grained parallelism, and a multilevel acceleration scheme. We provide implementation details and examples that show how the software can be used to regularize inverse problems. Results show that we benefit from working with all available prior information and are not limited to one or two regularizers because of algorithmic, computational, or hyper-parameter selection issues.

研究动机与目标

• 解决在反问题中对多个凸与非凸约束集交集进行投影时面临的计算挑战。
• 克服现有方法（如Dykstra算法）的局限性，后者在单个集合难以投影时表现不佳。
• 在正则化中使用多种多样且不同的先验知识（例如边界约束、稀疏性、低秩性、总变差）而不引入权衡参数。
• 开发一个实用、高性能的软件包，支持并行计算和自动参数选择，以应对实际反问题。
• 提供基于可行性与迭代点相对演化程度的鲁棒停止准则，确保收敛性，同时避免过度计算。

提出的方法

• 提出投影自适应松弛交替方向乘子法（PARSDMM），作为ADMM框架的变体，专为集合交集投影问题设计。
• 引入基于局部对偶变量和残差信息的自适应惩罚参数（ρ）与松弛参数（γ）更新规则，以加快收敛速度。
• 通过线性变换（A_i）将投影问题分解为并行子问题，实现细粒度与粗粒度并行。
• 采用多级加速方案，利用约束集之间的结构相似性以降低计算成本。
• 实现双重停止准则，结合归一化的变换域可行性误差（r^feas_i）与迭代点的相对演化（r^evol），以鲁棒检测收敛性。
• 集成高效投影算子，用于常见集合，如范数球、边界约束、基数约束以及低秩矩阵。

实验结果

研究问题

• RQ1 当单个投影计算成本较高时，能否高效计算多个凸与非凸集合交集上的投影？
• RQ2 如何为基于ADMM的求解器设计一种自适应参数选择策略，以在无需人工调参的情况下提升收敛性能？
• RQ3 在大规模反问题中，利用约束集之间的结构相似性能在多大程度上提升计算性能？
• RQ4 所提方法在处理复杂且非凸约束时，是否能在速度与鲁棒性方面优于Dykstra等成熟算法？
• RQ5 所提停止准则在实际反问题应用中，能否在解的精度与计算成本之间实现良好平衡？

主要发现

• PARSDMM算法在收敛速度与鲁棒性方面显著优于Dykstra算法，尤其在投影至复杂或非凸集合时表现突出。
• 自适应惩罚与松弛参数的使用减少了对人工调参的依赖，并在各类反问题中加速了收敛。
• 在约束集之间实现并行化可带来显著加速，尤其在多核或GPU加速架构上效果明显。
• 多级加速方案通过利用约束集之间的相似性（如共享变换域）有效降低了计算成本。
• 双重停止准则（基于可行性与相对演化）确保了高精度的收敛检测，且计算开销极小，在数值实验中实现了ε^evol = 10⁻²与ε^feas_i = 10⁻³。
• 软件包SetIntersectionProjection成功对具有挑战性的反问题（如联合去噪-去模糊-补全与图像去饱和）进行了正则化，通过整合多种先验约束而无需引入权衡参数。