[论文解读] LinSATNet: The Positive Linear Satisfiability Neural Networks

Runzhong Wang, Yunhao Zhang+4 more|arXiv (Cornell University)|Jul 18, 2024

Fault Detection and Control Systems被引用 2

一句话总结

LinSATNet 首次提出了一种用于神经网络中正线性约束的端到端可微分可满足性层，通过扩展的Sinkhorn算法以一次性方式强制执行多种边际约束（例如，装箱、覆盖、等式），使无约束神经网络能够生成满足复杂现实约束的可行解——在无监督路由、抗异常值图匹配和约束型投资组合优化任务中，性能优于基线方法。

ABSTRACT

Encoding constraints into neural networks is attractive. This paper studies how to introduce the popular positive linear satisfiability to neural networks. We propose the first differentiable satisfiability layer based on an extension of the classic Sinkhorn algorithm for jointly encoding multiple sets of marginal distributions. We further theoretically characterize the convergence property of the Sinkhorn algorithm for multiple marginals. In contrast to the sequential decision e.g.\ reinforcement learning-based solvers, we showcase our technique in solving constrained (specifically satisfiability) problems by one-shot neural networks, including i) a neural routing solver learned without supervision of optimal solutions; ii) a partial graph matching network handling graphs with unmatchable outliers on both sides; iii) a predictive network for financial portfolios with continuous constraints. To our knowledge, there exists no one-shot neural solver for these scenarios when they are formulated as satisfiability problems. Source code is available at https://github.com/Thinklab-SJTU/LinSATNet

研究动机与目标

• 开发一种可微分、端到端的神经层，以一次性方式强制执行正线性约束（Ax ≤ b, Cx ≥ d, Ex = f, x ∈ [0,1]^l）于神经网络预测中。
• 将经典Sinkhorn算法扩展，以联合处理多个集合的多种边际分布，实现对多种约束类型的联合强制。
• 在无显式目标函数的现实决策问题中，证明该方法的有效性，例如寻找最接近无约束预测的可行解。
• 为扩展的Sinkhorn算法在多个边际情况下的收敛性提供理论基础分析。
• 在效率和性能方面超越顺序或两阶段求解器（如强化学习或基于Gurobi的优化）在约束型神经网络求解中的表现。

提出的方法

• 提出LinSAT，一种可微分层，利用扩展的Sinkhorn算法将无约束神经网络输出投影到由正线性约束定义的可行集中。
• 将Sinkhorn算法扩展，以联合强制多个集合中的多种边际约束（如上下界、等式），实现联合分布对齐。
• 采用带对偶变量的迭代缩放方法，强制执行Ax ≤ b、Cx ≥ d和Ex = f，同时保持非负性和盒式约束。
• 理论上证明了在非负约束矩阵和向量条件下，扩展的Sinkhorn算法对多个边际的收敛性。
• 将LinSAT作为神经网络的最终层集成，支持通过约束层的精确梯度反向传播。
• 将LinSAT应用于三个不同应用场景：无监督神经路由、含异常值的局部图匹配，以及结合专家偏好的约束型投资组合分配。

实验结果

研究问题

• RQ1 是否存在一种可微分、一次性神经层，能够以支持端到端训练的方式强制执行一般正线性约束（如装箱、覆盖、等式）？
• RQ2 扩展的Sinkhorn算法是否对多个边际约束收敛？其是否可用于在神经网络中强制执行复杂的真实世界约束？
• RQ3 LinSAT是否在效率和解的质量方面均优于顺序或两阶段求解器（如强化学习或基于Gurobi的优化）在可满足性问题中的表现？
• RQ4 LinSAT是否能有效处理无显式目标函数的决策问题，例如寻找最接近无约束预测的可行解？
• RQ5 在保持高夏普比率的同时，LinSAT是否能将专家偏好（如对某些资产的最低配置比例）整合到金融投资组合优化中？

主要发现

• 在使用StemGNN的S&P 500投资组合分配任务中，LinSATNet实现了2.42的夏普比率，优于两阶段基于Gurobi的方法（2.00）和Softmax基线方法（2.11）。
• 在投资组合分配中，结合专家偏好的LinSAT（技术股配置比例p=50%）实现了2.42的夏普比率，显著优于无偏好基线（2.11）和两阶段Gurobi方法（2.00）。
• 在含异常值的局部图匹配任务中，LinSATNet成功处理了双方的未匹配节点，展现出超越标准一对一匹配的鲁棒性。
• 在无监督神经路由任务中，LinSATNet在无最优解监督的情况下学习到有效的路由策略，实现了高可行性和性能。
• 在所提条件下，扩展的Sinkhorn算法实现收敛，为LinSAT层的可靠性提供了理论依据。
• LinSATNet支持端到端训练并实现精确梯度传播，避免了如基于Gurobi的优化等两阶段求解器中常见的误差累积问题。