[论文解读] Constrained Feedforward Neural Network Training via Reachability Analysis

Long Kiu Chung, Adam Dai+3 more|arXiv (Cornell University)|Jul 16, 2021

Adversarial Robustness in Machine Learning参考文献 26被引用 5

一句话总结

本文提出了一种可微分的、基于可达性的方法，用于在训练过程中强制执行安全约束，以训练前馈ReLU神经网络。通过将输入和输出集合表示为受限zono拓扑，该方法计算可达集合，并通过可微分的碰撞检测损失确保其与不安全输出区域不相交，从而在数值示例中成功避开不安全区域，且保证约束满足。

ABSTRACT

Neural networks have recently become popular for a wide variety of uses, but have seen limited application in safety-critical domains such as robotics near and around humans. This is because it remains an open challenge to train a neural network to obey safety constraints. Most existing safety-related methods only seek to verify that already-trained networks obey constraints, requiring alternating training and verification. Instead, this work proposes a constrained method to simultaneously train and verify a feedforward neural network with rectified linear unit (ReLU) nonlinearities. Constraints are enforced by computing the network's output-space reachable set and ensuring that it does not intersect with unsafe sets; training is achieved by formulating a novel collision-check loss function between the reachable set and unsafe portions of the output space. The reachable and unsafe sets are represented by constrained zonotopes, a convex polytope representation that enables differentiable collision checking. The proposed method is demonstrated successfully on a network with one nonlinearity layer and approximately 50 parameters.

研究动机与目标

• 为解决在安全关键应用中训练神经网络时，必须在训练过程中保证输出约束，而不仅在训练后验证的问题。
• 通过将约束强制直接嵌入训练目标，消除对交替训练与验证循环的需求。
• 开发一种可微分的、基于集合的可达性框架，实现凸多面体的精确表示，并高效检查可达集合与不安全输出集合之间的碰撞。
• 证明约束满足性可在收敛时实现，且损失函数基于zono拓扑交集检查构建。

提出的方法

• 该方法使用受限zono拓扑表示输入集合和输出可达集合，其在线性变换下封闭，并可精确表示凸多面体。
• 通过受限zono拓扑算术，逐层计算网络在输出空间的可达集合，保持在ReLU非线性变换下的集合性质。
• 通过求解线性规划问题检测可达集合与不安全输出区域之间的交集，构建可微分的碰撞检测损失。
• 将损失函数集成到训练目标中，支持反向传播和基于梯度的优化，同时最小化预测误差并强制满足约束。
• 每个训练迭代采用两步反向传播：首先计算数据集上的目标损失，然后基于zono拓扑交集计算约束损失。
• 该方法利用解析运算实现Minkowski和、交集及碰撞检测，实现高效且可微分的可达性分析。

实验结果

研究问题

• RQ1 是否可以在优化过程中直接训练神经网络以满足用户指定的安全约束，而非依赖训练后的验证？
• RQ2 如何使基于集合的可达性分析具备可微性，以支持带安全约束的端到端训练？
• RQ3 使用受限zono拓扑表示可达集合，在计算效率和约束强制精度方面有何影响？
• RQ4 所提出的方法是否能在不依赖迭代验证循环的情况下，保证收敛时的约束满足性？

主要发现

• 所提方法成功训练了一个小型前馈ReLU网络，以近似非线性函数，同时在输出空间中完全避开了不安全区域，如图4所示。
• 约束训练的最终约束损失为0.0000，表明可达集合与不安全集合无交集；而无约束训练的损失为0.0575，违反了约束。
• 目标损失从无约束训练的0.0039上升至约束训练的0.0127，反映出准确率与安全强制之间的权衡。
• 该方法在收敛时实现了可证明的约束满足性，而以往方法仅对违规行为施加惩罚或需要事后验证。
• 尽管取得成功，但约束训练耗时约5小时，比无约束训练（0.5秒）慢几个数量级，原因在于受限zono拓扑表示的指数增长。
• GPU利用率保持在1–5%，表明通过更好的并行化和优化技术，性能仍有显著提升空间。