[论文解读] Auxiliary Problem Principle of augmented Lagrangian with Varying Core Functions for Large-Scale Structured Convex Problems

Lei Zhao, Daoli Zhu+1 more|arXiv (Cornell University)|Dec 14, 2015

Sparse and Compressive Sensing Techniques参考文献 48被引用 4

一句话总结

本文提出了增广拉格朗日的可变辅助问题原理（VAPP-AL），这是一种新颖的框架，允许在迭代过程中变化辅助问题中的核心函数，从而增强求解大规模结构化凸优化问题的灵活性。该方法在一般核心函数下保证收敛速率达到 $ O(1/t) $，在二次核心函数下达到 $ o(1/t) $，并支持非可分目标函数和多块耦合约束问题的高效并行与分布式计算。

ABSTRACT

The auxiliary problem principle of augmented Lagrangian (APP-AL), proposed by Cohen and Zhu (1984), aims to find the solution of a constrained optimization problem through a sequence of auxiliary problems involving augmented Lagrangian. The merits of this approach are two folds. First, the core function is usually separable, which makes the subproblems at each step decomposable and particularly attractive for parallel computing. Second, the choice of the core function is quite flexible. Consequently, by carefully specifying this function, APP-AL may reduce to some standard optimization algorithms. In this paper, we pursue enhancing such flexibility by allowing the core function to be non-identical at each step of the algorithm, and name it varying auxiliary problem principle (VAPP-AL). Depending on the problem structure, the varying core functions in VAPP-AL can be adapted to design new flexible and suitable algorithm for parallel and distributed computing. The convergence and O(1/t) convergence rate of VAPP-AL for convex problem with coupling objective and constraints is proved. Moreover, if this function is specialized to be quadratic, an o(1/t) convergence rate can be established. Interestingly, the new VAPP framework can cover several variants of Jacobian type augmented Lagrangian decomposition methods as special cases. Furthermore, our technique works for the convex problem with nonseparable objective and multi-blocks coupled linear constraints, which usually can not be handled by ADMM.

研究动机与目标

• 为解决固定核心辅助问题原理在处理具有非可分目标函数和多块耦合约束的大规模结构化凸问题时的局限性。
• 通过在每次迭代中允许辅助问题中的核心函数变化，提升算法灵活性，从而更好地适应问题结构。
• 在较弱假设下，为所提出的 VAPP-AL 框架建立收敛性和收敛速率保证。
• 证明 VAPP-AL 可推广并统一现有方法，包括 ADMM 的各种变体，并将其适用范围扩展至非可分目标函数。

提出的方法

• 提出 VAPP-AL，一种新型算法框架，其中辅助问题中的核心函数可在迭代间变化，不同于标准 APP-AL 中的固定核心方法。
• 基于时变核心函数 $ K^k(u) $ 使用 Bregman 距离正则化项，线性化增广拉格朗日函数，并确保子问题的可分解性。
• 采用与增广拉格朗日方法一致的对偶更新规则 $ p^{k+1} = p^k + ho (A u^{k+1} - b) $，同时通过使用可变正则化的改进增广拉格朗日函数求解子问题。
• 引入一个类似李雅普诺夫的函数 $ ilde{ heta}^k $ 以分析收敛性，利用 $ G $ 的 Hessian 矩阵、矩阵 $ A $ 以及 $ ho $ 和 $ ho $ 的选择特性。
• 通过涉及 $ ilde{ heta}^{k+1} - ilde{ heta}^k $ 的递减不等式建立收敛性，表明序列有界，且差值以 $ O(1/t) $ 的速率衰减。
• 证明当核心函数为二次函数时，收敛速率可提升至 $ o(1/t) $，这是通过更紧密控制 Hessian 矩阵和参数选择实现的。

实验结果

研究问题

• RQ1 通过在迭代间允许核心函数变化，能否增强辅助问题原理中核心函数的灵活性？
• RQ2 VAPP-AL 框架是否在非可分目标函数和多块耦合约束的凸问题上保持收敛性，并实现可证明的收敛速率？
• RQ3 VAPP-AL 是否能恢复或推广现有方法，如 ADMM 变体和雅可比型分解方法？
• RQ4 VAPP-AL 的收敛速率是多少？当核心函数特化为二次函数时，其收敛速率是否会提升？
• RQ5 在大规模并行与分布式计算环境中，可变核心函数的选择如何影响收敛行为和迭代复杂度？

主要发现

• 在 $ G $ 的 Hessian 矩阵和约束矩阵的较弱假设下，VAPP-AL 确保了具有非可分目标函数和多块耦合线性约束的凸问题的全局收敛性。
• 该算法在遍历和非遍历意义下均实现了 $ O(1/t) $ 的收敛速率，子最优性间隙以该速率减小。
• 当核心函数特化为二次函数时，收敛速率提升至 $ o(1/t) $，表明其收敛速度优于一般情况。
• 该框架通过在每次迭代中允许核心函数变化，推广并统一了多种现有方法，包括雅可比型 ADMM 变体。
• 收敛性分析依赖于一个跟踪最优性间隙减小的李雅普诺夫函数，其差值由涉及 $ ar{H} $ 和 $ ho $ 的负定二次型有界。
• 该方法通过可分正则化确保子问题可分解，即使原始问题不可分，从而实现高效的并行与分布式计算。