[论文解读] A Novel Augmented Lagrangian Approach for Inequalities and Convergent Any-Time Non-Central Updates

Marc Toussaint|arXiv (Cornell University)|Dec 14, 2014

Advanced Optimization Algorithms Research参考文献 5被引用 6

一句话总结

本文提出了一种新型的不等式约束优化的增广拉格朗日方法，采用一种新式的增广方案，避免使用松弛变量，并支持收敛的任意时间非中心对偶更新。该方法在约束活动稳定的优化问题（如机器人轨迹优化）中实现了快速收敛，在此类场景下性能优于对数障碍法和标准增广拉格朗日方法。

ABSTRACT

Motivated by robotic trajectory optimization problems we consider the Augmented Lagrangian approach to constrained optimization. We first propose an alternative augmentation of the Lagrangian to handle the inequality case (not based on slack variables) and a corresponding "central" update of the dual parameters. We proove certain properties of this update: roughly, in the case of LPs and when the "constraint activity" does not change between iterations, the KKT conditions hold after just one iteration. This gives essential insight on when the method is efficient in practise. We then present our main contribution, which are consistent any-time (non-central) updates of the dual parameters (i.e., updating the dual parameters when we are not currently at an extremum of the Lagrangian). Similar to the primal-dual Newton method, this leads to an algorithm that parallely updates the primal and dual solutions, not distinguishing between an outer loop to adapt the dual parameters and an inner loop to minimize the Lagrangian. We again proof certain properties of this anytime update: roughly, in the case of LPs and when constraint activities would not change, the dual solution converges after one iteration. Again, this gives essential insight in the caveats of the method: if constraint activities change the method may destablize. We propose simple smoothing, step-size adaptation and regularization mechanisms to counteract this effect and guarantee monotone convergence. Finally, we evaluate the proposed method on random LPs as well as on standard robot trajectory optimization problems, confirming our motivation and intuition that our approach performs well if the problem structure implies moderate stability of constraint activity.

研究动机与目标

• 解决标准增广拉格朗日方法在约束活动不稳定问题中效率低下的问题，特别是在高维轨迹优化场景中。
• 提出一种不依赖松弛变量的不等式约束替代增广方式，以简化收敛性分析。
• 引入一致的任意时间（非中心）对偶更新机制，实现无需独立内外循环的并行原始-对偶优化。
• 通过平滑化、步长自适应和正则化机制，确保在约束活动变化时仍能实现单调收敛。
• 在随机线性规划和真实世界的机器人轨迹优化问题上验证该方法，评估其在不同约束稳定性条件下的性能表现。

提出的方法

• 为不等式约束提出新的增广项 $[\lambda > 0 \vee g > 0] \cdot g^2$，替代传统的基于松弛变量的方法。
• 引入一种‘中心’对偶更新规则（与 Nocedal 和 Wright, 1999 年的方法类似），并证明在约束活动稳定时，该规则可在单次迭代内实现 KKT 条件满足（针对线性规划问题）。
• 设计一种‘任意时间’非中心对偶更新机制，即使未达到拉格朗日函数最小值，也能更新对偶参数，从而实现原始与对偶变量的同步优化。
• 证明在约束活动稳定时，该任意时间更新机制可收敛至正确的对偶解，且收敛性由自适应机制保障。
• 通过平滑化、步长自适应和正则化手段，提升方法在约束活动变化过程中的稳定性。
• 将该方法集成到一种迭代算法中，交替执行原始变量最小化和对偶更新，辅以线性搜索与回溯法以控制收敛性。

实验结果

研究问题

• RQ1 在何种条件下，所提出的中心对偶更新机制可在单次迭代内实现线性规划问题的精确 KKT 满足？
• RQ2 当约束活动在整个优化过程中保持稳定时，非中心（任意时间）对偶更新是否仍能保持收敛性与正确性？
• RQ3 在约束活动不稳定的情况下（如随机线性规划），该方法在实际中表现如何？
• RQ4 约束活动的稳定性在所提增广拉格朗日方法的有效性中起到何种作用？
• RQ5 在高维、非线性轨迹优化问题中，该方法能否优于标准的对数障碍法和增广拉格朗日方法？

主要发现

• 当约束活动在迭代间保持不变时，所提方法结合中心更新可在单次迭代内实现线性规划问题的 KKT 条件满足。
• 在约束活动稳定时，任意时间非中心对偶更新可在单次迭代内收敛至正确的对偶解，为其实用效率提供了理论依据。
• 在随机线性规划问题中，该方法在中等维度下表现良好，但当约束活动在优化后期变得不稳定时，性能显著下降。
• 在 5000 维的机器人轨迹优化问题中，AnyAula 实现了最佳的次优性（0.05 ± 0.03），仅需 48.25 ± 4.93 次函数评估，优于 LogBarrier 和 SqrPenalty 方法。
• LogBarrier 方法未能找到可行解，次优性高达 72,337 ± 3,325，表明其在该约束环境下收敛性极差。
• 该方法的性能对约束活动的稳定性高度敏感：在稳定设置（如轨迹优化）中表现优异，而在不稳定设置（如随机线性规划）中性能明显下降。