[论文解读] A Generalization of the Chambolle-Pock Algorithm to Banach Spaces with Applications to Inverse Problems

Thorsten Hohage, C. Homann|arXiv (Cornell University)|Nov 29, 2014

Numerical methods in inverse problems参考文献 33被引用 13

一句话总结

该论文将Chambolle-Pock原始对偶算法推广至一致凸、2-凸且2-光滑的巴拿赫空间，通过Tikhonov正则化或迭代正则化牛顿法高效求解不适定反问题。该方法在广义凸性条件下确保强收敛性及收敛速率，且在数值测试中相比希尔伯特空间变体展现出更快的收敛速度与闭式预解算子。

ABSTRACT

For a Hilbert space setting Chambolle and Pock introduced an attractive first-order algorithm which solves a convex optimization problem and its Fenchel dual simultaneously. We present a generalization of this algorithm to Banach spaces. Moreover, under certain conditions we prove strong convergence as well as convergence rates. Due to the generalization the method becomes efficiently applicable for a wider class of problems. This fact makes it particularly interesting for solving ill-posed inverse problems on Banach spaces by Tikhonov regularization or the iteratively regularized Newton-type method, respectively.

研究动机与目标

• 将Chambolle-Pock原始对偶算法从希尔伯特空间推广至一致凸、2-凸且2-光滑的巴拿赫空间。
• 在广义凸性条件下，建立推广后算法的强收敛性与收敛速率。
• 通过Tikhonov正则化或迭代正则化牛顿法，在巴拿赫空间中实现不适定反问题的高效求解。
• 推导巴拿赫空间中预解算子的闭式表达式，提升计算效率。
• 在稀疏恢复与相位恢复问题的数值实验中，展示更快的收敛速度与更优的可行性。

提出的方法

• 通过用对偶映射与广义预解算子替代希尔伯茨空间范数，将Chambolle-Pock算法推广至巴拿赫空间。
• 利用对偶映射 $ J_X $ 与 $ J_Y $ 定义广义预解算子 $ (\sigma \partial g^* + J_Y)^{-1} $ 与 $ (\tau \partial f + J_X)^{-1} $，在光滑巴拿赫空间中确保单值性。
• 同时求解原始问题 $ \min_x g(Tx) + f(x) $ 及其Fenchel对偶问题，更新对偶变量 $ p_k $、原始变量 $ x_k $ 与外推变量 $ \hat{x}_k $。
• 采用基于广义凸性性质的参数选择规则（CP-BS1、CP-BS2、CP-BS3），以确保收敛性与收敛速率。
• 在加权 $ L^2 $ 空间中使用权重 $ W = (T(x_n) + \epsilon)^{-1} $ 处理由Poisson分布数据构成的问题，实现高效的近端计算。
• 推导出 $ l^r $ 与 $ H^{1,r} $ 空间中预解算子的闭式表达式，使数值实现中可快速求值。

实验结果

研究问题

• RQ1 Chambolle-Pock算法能否在保持收敛性与收敛速率的前提下推广至巴拿赫空间？
• RQ2 在巴拿赫空间中，何种函数泛函 $ f $ 与 $ g^* $ 的条件可确保收敛性与收敛速率？
• RQ3 巴拿赫空间中的广义预解算子与希尔伯茨空间中的对应算子在计算效率上如何比较？
• RQ4 该推广算法在 $ l^r $ 或 $ H^{1,r} $ 空间中的反问题求解中，能否在收敛速度上超越标准Chambolle-Pock方法？
• RQ5 使用加权 $ l^2 $ 空间是否能提升Poisson分布反问题的收敛速度？

主要发现

• 在适当的参数选择规则下，推广后的Chambolle-Pock算法在一致凸、2-凸且2-光滑的巴拿赫空间中实现强收敛。
• 当 $ f $ 与 $ g^* $ 满足广义凸性条件时，可建立收敛速率，扩展了希尔伯茨空间中的已有结果。
• 在 $ l^r $ 与 $ H^{1,r} $ 空间中推导出预解算子的闭式表达式，使计算无需迭代求解器，显著提升效率。
• 数值实验表明，在 $ l^{1.5} $ 与 $ H^{1,1.1} $ 空间中收敛速度明显快于标准 $ l^2 $ 设置，例如在某一实例中仅需558次迭代，而标准方法需15,000次。
• CP-BS1变体在最优 $ \tau, \sigma $ 下收敛最快，而CP-BS2在 $ \tau_0 $ 较大且 $ \gamma $ 适当时也表现出更快的收敛速度。
• 对于Poisson数据，使用加权 $ l^2_W $ 空间（其中 $ W = (T(x_n) + \epsilon)^{-1} $）相比未加权 $ l^2 $ 空间能显著提升收敛速度。