[论文解读] Codes supporting "Interior–proximal primal–dual methods"

Tuomo Valkonen|arXiv (Cornell University)|Jun 21, 2017

Stochastic Gradient Optimization Techniques被引用 4

一句话总结

本文提出了一种新颖的原始-对偶算法——原始欧几里得-对偶内点（PEDI）算法，通过用对称锥上的对数障碍函数替代对偶近端步骤中的平方距离，将近端点方法与内点预条件技术相结合。该方法在第二阶锥问题上实现了线性收敛，在一般对称锥问题上实现了$O(1/N)$的收敛速度，其理论基础是利用障碍函数的强凸性估计并结合边界惩罚项。

ABSTRACT

This package contains the codes behind the paper “Interior--proximal primal--dual methods” by T. Valkonen; https://arxiv.org/abs/1706.07067 (Applied Analysis and Optimization <strong>3</strong> (2019), 1–28). The top-level directory contains the specific tests and files to batch-generate the results in the paper. The directory `codes` contains generic algorithm implementations shared between various of my papers. The images under `img/` are from the free Kodak image suite available at http://r0k.us/graphics/kodak/.

研究动机与目标

• 弥合第一阶分裂法与内点法在求解大规模鞍点问题时的性能差距。
• 开发一种混合算法，在保持第一阶方法可计算性的同时，保留内点法的收敛速度。
• 在具有对称锥约束的问题上实现可证明的收敛速率，特别是实现线性收敛速率。
• 探究在对偶步骤中采用基于障碍函数的预条件是否能优于标准的二次近端项，从而提升收敛速度与可扩展性。

提出的方法

• 该方法将鞍点问题重新表述为一种使用非线性障碍函数预条件器的预条件近端点方法，用于对偶变量。
• 用对称锥$\mathcal{K}$上的对数障碍项$-\nabla \log \det(y)$替代标准的对偶近端步骤，同时保留在原始变量上的欧几里得近端步骤。
• 该算法源于变分包含形式$0 \in H(u^{i+1}) + M_{i+1}(u^{i+1} - u^i)$，其中$M_{i+1}$包含了基于障碍函数的预条件。
• 通过障碍函数的强凸性估计并结合对锥边界处的惩罚项，建立了收敛速率。
• 该方法被应用于图像去噪问题，包括总变差去噪和$H^1$去噪，且精确求解了内点子问题。
• 数值实验将PEDI与PDHGM及对偶前向-后向分裂法进行比较，以评估收敛行为与可扩展性。

实验结果

研究问题

• RQ1 结合近端点方法与内点法原理的混合原始-对偶方法，是否能比标准第一阶方法实现更快的收敛速度？
• RQ2 在对称锥上，用对数障碍函数替代对偶二次近端项，是否能带来更优的收敛速率？
• RQ3 当仅原始函数具有强凸性时，对于涉及第二阶锥约束的问题，是否可实现线性收敛？
• RQ4 基于障碍函数的方法在问题规模增大时性能如何变化，特别是在高分辨率图像处理应用中？

主要发现

• 当原始函数$G$具有强凸性时，PEDI方法在涉及第二阶锥的问题上实现了线性收敛。
• 对于一般对称锥问题，该方法实现了$O(1/N)$的收敛速率，与非强凸设置下的结果一致。
• 数值结果表明，PEDI在$H^1$去噪任务中显著优于PDHGM和对偶FB方法，反映出理论上的线性收敛速率。
• 在总变差去噪任务中，PEDI的收敛速度慢于对偶FB方法，但在低分辨率与高分辨率问题（变量数从$10^4$到$10^6$）中均表现出良好的可扩展性。
• 该算法展现出良好的可扩展性，高分辨率问题上的性能与低分辨率问题相当，表明其对问题规模具有鲁棒性。
• 理论分析证实，基于障碍函数的预条件能够提供强凸性估计，从而支撑了改进的收敛速率。