[论文解读] Barrier and penalty methods for low-rank semidefinite programming with application to truss topology design

Soodeh Habibi, Arefeh Kavand+2 more|arXiv (Cornell University)|May 18, 2021

Advanced Optimization Algorithms Research参考文献 39被引用 1

一句话总结

本文提出了一种新型预条件子，用于在二阶半定规划（SDP）算法中改进共轭梯度（CG）方法的性能，通过利用对偶解中的低秩结构来加速收敛。该方法在原始-对偶内点法和一种新型原始-对偶增广拉格朗日（PDAL）框架中均表现出色，显著提升了大规模桁架拓扑设计问题的求解速度，同时保持了极少的迭代次数和高精度。

ABSTRACT

The aim of this paper is to solve large-and-sparse linear Semidefinite Programs (SDPs) with low-rank solutions. We propose to use a preconditioned conjugate gradient method within second-order SDP algorithms and introduce a new efficient preconditioner fully utilizing the low-rank information. We demonstrate that the preconditioner is universal, in the sense that it can be efficiently used within a standard interior-point algorithm, as well as a newly developed primal-dual penalty method. The efficiency is demonstrated by numerical experiments using the truss topology optimization problems of growing dimension.

研究动机与目标

• 解决大规模稀疏线性半定规划（SDP）问题中因低秩解导致的计算瓶颈。
• 通过用迭代CG方法替代直接求解器，降低内点法中组装和分解大规模稠密海塞矩阵的高昂开销。
• 开发一种通用的、具备低秩感知能力的预条件子，以在不依赖确切解秩信息的前提下提升CG方法的收敛速度。
• 在标准内点法和新提出的原始-对偶增广拉格朗日（PDAL）算法中均验证该预条件子的有效性。
• 实现大规模桁架拓扑优化问题的可扩展求解，这些问题是传统SDP求解器因内存和时间限制而无法处理的。

提出的方法

• 提出一种预条件子 $ H_\alpha $，利用对偶解中的低秩结构，改善SDP算法中线性系统的条件数。
• 在预条件共轭梯度（PCG）方法中应用该预条件子，求解二阶SDP算法每一步中的牛顿系统。
• 将PCG求解器集成到两种算法中：(1) 使用Nesterov-Todd方向的标准原始-对偶内点法，以及 (2) 一种新型原始-对偶增广拉格朗日（PDAL）方法。
• 对线性约束使用二次-对数惩罚函数，对线性矩阵不等式（LMI）使用双曲惩罚函数，从而通过PCG高效求解子问题。
• 在增广拉格朗日框架中将牛顿系统表述为原始-对偶系统，并使用带有低秩预条件子的PCG近似求解。
• 确保即使在估计的秩低于真实解秩的情况下，预条件子仍保持有效性，且不会影响算法的收敛性。

实验结果

研究问题

• RQ1 具备低秩感知能力的预条件子是否能显著减少求解大规模低秩SDP问题时CG方法的迭代次数？
• RQ2 所提出的预条件子在不同二阶SDP算法中的表现如何，特别是在与标准内点法和新型增广拉格朗日框架的对比下？
• RQ3 在某些问题类别中，若无预条件子，是否仍能实现高效求解？何时该方法仍显不足？
• RQ4 在桁架拓扑问题中，PCG方法结合所提出的预条件子在CPU时间和可扩展性方面相较于直接求解器的性能优势有多大？
• RQ5 当估计的解秩小于实际秩时，该方法是否仍能保持高精度和鲁棒性？

主要发现

• 在tru11问题中，所提出的 $ H_\alpha $ 预条件子将CG迭代次数从77,700次减少至344次，将内点法的CPU时间从303秒降至2.62秒。
• PDAL算法的解精度高于内点法，且系统矩阵的条件数更优，这对迭代求解器尤其有利。
• 对于桁架问题如tru11，标准求解器（SDPNAL+、SDPLR）在最大迭代次数限制内无法收敛，而本方法成功实现了收敛。
• 在 $ A^\top A $ 为对角矩阵的矩阵补全问题中，无需使用预条件子，但 $ H_\alpha $ 预条件子仍能提升性能，将CG步数从4,045次减少至288次。
• 即使估计的秩低于真实解秩，该方法仍保持有效性，仅略微增加CG迭代次数，且不影响收敛性。
• 使用 $ H_\alpha $ 的PCG方法在所有测试的桁架问题中均实现了高精度（DIMACS容差1e-5），而其他求解器通常无法达到该阈值。