[论文解读] PENLAB: A MATLAB solver for nonlinear semidefinite optimization

Jan Fiala, Michal Kočvara+1 more|arXiv (Cornell University)|Nov 20, 2013

Advanced Optimization Algorithms Research参考文献 21被引用 71

一句话总结

PENLAB 是一个用于非线性半定规划问题的开源 MATLAB 求解器，基于基于惩罚/障碍函数的非线性重标度算法，处理具有矩阵不等式和特征值约束的非线性目标函数和约束函数。其主要贡献在于为研究和教学提供一个完全可访问、可扩展的框架，使用户能够在结构设计、相关矩阵补全和静态输出反馈等问题中修改算法组件。

ABSTRACT

PENLAB is an open source software package for nonlinear optimization, linear and nonlinear semidefinite optimization and any combination of these. It is written entirely in MATLAB. PENLAB is a young brother of our code PENNON \cite{pennon} and of a new implementation from NAG \cite{naglib}: it can solve the same classes of problems and uses the same algorithm. Unlike PENNON, PENLAB is open source and allows the user not only to solve problems but to modify various parts of the algorithm. As such, PENLAB is particularly suitable for teaching and research purposes and for testing new algorithmic ideas. In this article, after a brief presentation of the underlying algorithm, we focus on practical use of the solver, both for general problem classes and for specific practical problems.

研究动机与目标

• 开发一个基于 MATLAB 的开源求解器，用于具有半定约束的非线性优化，以支持研究和教育应用。
• 使用户能够修改和实验算法组件，促进在非线性半定规划中测试新想法。
• 提供一个实用且易于访问的工具，用于求解涉及矩阵不等式和非线性目标函数的实际问题。
• 通过提供完整的源代码访问，扩展现有求解器（如 PENNON 和 NAG 的实现）的功能。
• 在基准问题（如带条件数约束的最近相关矩阵、桁架拓扑设计和静态输出反馈控制）上展示求解器的有效性。

提出的方法

• 采用基于惩罚函数和障碍函数的非线性重标度方法，处理不等式和矩阵不等式约束。
• 使用原始-对偶内点法结合序列二次规划（SQP）迭代，求解增广拉格朗日子问题。
• 应用方向导数和矩阵微积分，计算矩阵值函数的梯度和海森矩阵，包括 $ \nabla F(X) $ 对于 $ F(X) = X^2 $ 和 $ \mbox{Tr}(X^{-1}) $。
• 通过 $ Z_{ij} + Z_{ji} - \text{diag}(Z_{ij}) $ 对对称矩阵实施感知对称梯度计算，以确保正确性。
• 利用矩阵微积分规则实现自动微分技术，适用于标量和矩阵函数，包括 $ \frac{\partial}{\partial x_{ij}} \mbox{Tr}(X^{-1}) $。
• 支持矩阵变量的等式和不等式约束，包括特征值边界 $ \underline{\lambda}_i I \preceq Y_i \preceq \overline{\lambda}_i I $。

实验结果

研究问题

• RQ1 如何设计一个完全开源的基于 MATLAB 的求解器，以解决具有算法实验可扩展性的非线性半定规划问题？
• RQ2 在 MATLAB 中实现高层求解器与使用编译语言相比，在大规模问题上的性能权衡是什么？
• RQ3 PENLAB 是否能有效求解具有挑战性的实际问题，如带条件数约束的最近相关矩阵问题？
• RQ4 与文献中其他方法相比，非线性重标度算法在具有矩阵不等式约束的问题上的表现如何？
• RQ5 PENLAB 在多大程度上可以作为探索非线性半定规划中新算法思想的教学和研究工具？

主要发现

• PENLAB 成功求解了一系列实际问题，包括带条件数约束的最近相关矩阵问题、具有全局稳定性的桁架拓扑优化问题，以及静态输出反馈控制问题。
• 求解器采用与 PENNON 和 NAG 实现一致的算法框架，确保了跨平台的兼容性和可重现性。
• 尽管受限于 MATLAB 的解释执行环境，PENLAB 仍提供了对算法组件的完全访问，支持详细分析和修改。
• 矩阵梯度和海森矩阵的理论推导被正确实现，包括通过 $ Z_{ij} + Z_{ji} - \text{diag}(Z_{ij}) $ 处理由对称矩阵引起的处理，确保了数值精度。
• 该软件包以 GNU GPL 许可证发布，可公开获取，网址为 http://web.mat.bham.ac.uk/kocvara/penlab，供研究和教育使用。
• 实现正确计算了矩阵函数的方向导数和二阶导数，例如 $ \frac{\partial^2}{\partial x_{ij}\partial x_{k\ell}} \mbox{Tr}(X^{-1}) = X^{-1}E_{ij}X^{-1}E_{kl}X^{-1} + X^{-1}E_{kl}X^{-1}E_{ij}X^{-1} $。