[论文解读] Handling Hard Affine SDP Shape Constraints in RKHSs

Pierre-Cyril Aubin-Frankowski, Zoltán Szabó|arXiv (Cornell University)|Jan 5, 2021

Advanced Numerical Analysis Techniques参考文献 80被引用 5

一句话总结

本文提出了一种模块化的凸优化框架，通过二阶锥紧致化（second-order cone tightening）来强制执行函数在向量值再生核希尔伯特空间（vRKHSs）中的硬仿射半定规划（SDP）形状约束——如单调性、凸性或超模性——这些约束作用于函数的导数。该方法将无限多个逐点约束转化为有限且可处理的优化问题，在较弱假设下确保收敛至真实约束解，已在机器人学、控制和计量经济学中得到验证。

ABSTRACT

Shape constraints, such as non-negativity, monotonicity, convexity or supermodularity, play a key role in various applications of machine learning and statistics. However, incorporating this side information into predictive models in a hard way (for example at all points of an interval) for rich function classes is a notoriously challenging problem. We propose a unified and modular convex optimization framework, relying on second-order cone (SOC) tightening, to encode hard affine SDP constraints on function derivatives, for models belonging to vector-valued reproducing kernel Hilbert spaces (vRKHSs). The modular nature of the proposed approach allows to simultaneously handle multiple shape constraints, and to tighten an infinite number of constraints into finitely many. We prove the convergence of the proposed scheme and that of its adaptive variant, leveraging geometric properties of vRKHSs. Due to the covering-based construction of the tightening, the method is particularly well-suited to tasks with small to moderate input dimensions. The efficiency of the approach is illustrated in the context of shape optimization, safety-critical control, robotics and econometrics.

研究动机与目标

• 解决在丰富函数类（如vRKHSs）中对函数导数强制执行硬性、逐点形状约束（如单调性、凸性）的挑战。
• 通过将连续域上无穷多个约束紧致化为有限、凸优化问题，克服其计算不可行性。
• 开发一种模块化框架，支持同时强制执行多种形状约束，如非负性、单调性和凸性。
• 在核函数和目标函数的标准假设下，确保优化方案及其自适应变体收敛至真实约束解。
• 在机器人学、控制和计量经济学中常见的低至中等维数问题中实现实际部署，利用输入空间的几何结构。

提出的方法

• 将形状约束表述为函数导数上的仿射SDP不等式：$ 0_{P\times P} \preccurlyeq \mathrm{diag}(b) + Df(x) \quad \forall x \in K $，其中 $ Df(x) $ 表示微分算子（如黑塞矩阵）。
• 采用覆盖构造方法，将无限约束集 $ K $ 近似为有限个点的集合，通过二阶锥（SOC）紧致化实现有限松弛。
• 构建一系列紧致化集合 $ \bar{\Omega}^{(k)} $，其在Hausdorff距离下收敛于极限集 $ \bar{\Omega}^{(\infty)} $，从而保证解路径的收敛性。
• 定义一种迭代算法，每一步通过在 $ \bar{\Omega}^{(k)} $ 上求解凸子问题计算 $ (f^{(k)}, b^{(k)}) $，其中 $ f^{(k)} \in \hat{\mathcal{F}}_K $ 且 $ b^{(k)} \in \mathbb{R}^B $。
• 利用vRKHSs的几何结构及目标函数的强制性，证明迭代序列 $ (f^{(k)}, b^{(k)}) $ 弱收敛于极限问题的最优解。
• 通过构造性选择偏差 $ b^{(k)} $，确保迭代序列在各紧致化层级上保持可行性，从而保证可容许性与有界性。

实验结果

研究问题

• RQ1 能否在无限维函数空间（如vRKHSs）中高效强制执行函数导数的硬形状约束？
• RQ2 如何将不可数无限多个逐点SDP约束转化为有限、凸优化问题，同时不牺牲约束满足性？
• RQ3 在标准假设下，所提出的紧致化方案是否收敛至原始约束问题的真实解？
• RQ4 该框架能否以模块化且可扩展的方式同时支持多种形状约束（如凸性与单调性）？
• RQ5 在非光滑或非紧致定义域存在的情况下，对迭代解路径的理论保证（如收敛性、有界性）能否建立？

主要发现

• 所提出的框架通过二阶锥紧致化，将函数导数上的无限多个仿射SDP约束转化为有限且凸的优化问题。
• 该方法确保迭代解路径 $ (f^{(k)}, b^{(k)}) $ 收敛至极限问题 $ \bar{\Omega}^{(\infty)} $ 的最优解，而该极限问题等价于原始约束问题。
• 解 $ (f^{}(\infty), b^{(\infty)}) $ 被证明对原始问题的紧致化与松弛化形式均为最优，从而在极限下确认其正确性。
• 在较弱假设下建立了理论收敛性：目标函数的强制性、初始可行对的存在性，以及紧致化集合之间Hausdorff距离的有界性。
• 该框架具有模块化特性，可通过组合各自的SDP约束，同时支持多种形状约束（如非负性、单调性与凸性）。
• 实证验证表明，该方法在形状约束优化、安全关键控制、机器人学和计量经济建模中均具有效性，尤其在低至中等维数设置下表现突出。