[论文解读] Chambolle-Pock and Tseng's methods: relationship and extension to the bilevel optimization

Yura Malitsky|arXiv (Cornell University)|Jun 8, 2017

Sparse and Compressive Sensing Techniques参考文献 8被引用 6

一句话总结

本文建立了Chambolle-Pock原始对偶方法与Tse ng的邻近梯度方法在正则化最小二乘和仿射子空间上的非光滑最小化问题之间的理论联系。它推导出非递推O(1/k²)收敛速率，并将该框架扩展至双层复合优化，证明在不假设强凸性条件下的收敛性。

ABSTRACT

In the first part of the paper we focus on two problems: (a) regularized least squares and (b) nonsmooth minimization over an affine subspace. For these problems we establish the connection between the primal-dual method of Chambolle-Pock and Tseng's proximal gradient method. For problem (a) it allows us to derive a nonergodic $O(1/k^2)$ convergence rate of the objective function for the primal-dual method. For problem (b) we show that the primal-dual method converges even when the duality does not hold or when the linear system is inconsistent. We also obtain new convergence rates which are more suitable in practice. In the second part, using the established connection, we develop a novel method for the bilevel composite optimization problem. We prove its convergence without the assumption of strong convexity which is typical for many existing methods.

研究动机与目标

• 建立Chambolle-Pock原始对偶方法与Tse ng邻近梯度方法之间的理论联系。
• 推导使用Chambolle-Pock方法在正则化最小二乘问题中的非递推O(1/k²)收敛速率。
• 在更宽松的条件下证明Chambolle-Pock方法的收敛性，包括对偶性不成立或线性系统不一致的情形。
• 将该框架扩展至双层复合优化，并证明在不依赖强凸性假设下的收敛性。

提出的方法

• 本文通过对偶性分析，将Chambolle-Pock原始对偶方法与Tse ng的邻近梯度方法联系起来。
• 将正则化最小二乘和仿射子空间上的非光滑最小化问题形式化为适合原始对偶分析的结构化优化问题。
• 该联系使得能够推导出在正则化最小二乘情况下目标函数的非递推O(1/k²)收敛速率。
• 对于非光滑最小化问题，该方法在存在对偶间隙或系统不一致时仍能收敛。
• 利用所建立的联系，设计了一种用于双层复合优化的新算法。
• 该方法在一般条件下证明了收敛性，避免了通常所需的强凸性假设。

实验结果

研究问题

• RQ1 在正则化最小二乘和仿射子空间最小化背景下，Chambolle-Pock原始对偶方法与Tse ng的邻近梯度方法之间有何关系？
• RQ2 Chambolle-Pock方法能否在正则化最小二乘问题中实现非递推O(1/k²)收敛？
• RQ3 当对偶性不成立或线性系统不一致时，Chambolle-Pock方法在何种条件下仍能收敛？
• RQ4 该两种方法之间的联系能否扩展至求解双层复合优化问题？
• RQ5 所提出的双层方法是否可在不假设强凸性的情况下实现收敛？

主要发现

• Chambolle-Pock方法在正则化最小二乘问题中实现了目标函数的非递推O(1/k²)收敛速率，优于传统的递推速率。
• 当对偶性不成立或线性系统不一致时，Chambolle-Pock方法仍能收敛，显著扩展了其适用范围。
• 推导出新的收敛速率，更适合在仿射子空间上的非光滑最小化问题中实际应用。
• Chambolle-Pock与Tse ng方法之间的联系使得能够设计一种用于双层复合优化的新算法。
• 所提出的双层方法在不依赖强凸性假设下实现收敛，相比现有方法实现了重要松弛。
• 理论框架为结构化优化问题的标准实例与病态实例提供了统一的分析方法。