[论文解读] Neural Networks for Safety-Critical Applications - Challenges, Experiments and Perspectives

Chih‐Hong Cheng, Frederik Diehl+6 more|arXiv (Cornell University)|Sep 4, 2017

Adversarial Robustness in Machine Learning参考文献 3被引用 7

一句话总结

本文通过引入神经元到特征的可追溯性、形式化验证和数据验证，将传统安全标准扩展至自动驾驶中的安全关键神经网络，提出了一种认证方法。该方法应用于高速公路变道运动预测模型，成功验证了侧向速度不会超过安全阈值，但深层网络的可扩展性仍是挑战。

ABSTRACT

We propose a methodology for designing dependable Artificial Neural Networks (ANN) by extending the concepts of understandability, correctness, and validity that are crucial ingredients in existing certification standards. We apply the concept in a concrete case study in designing a high-way ANN-based motion predictor to guarantee safety properties such as impossibility for the ego vehicle to suggest moving to the right lane if there exists another vehicle on its right.

研究动机与目标

• 解决自动驾驶等安全关键应用中神经网络缺乏形式化认证方法的问题。
• 将现有安全认证标准——可理解性、正确性和有效性——扩展以适应神经网络特有的挑战。
• 确保自动驾驶车辆中基于神经网络的运动预测器符合安全规则，例如避免不安全的变道行为。
• 探究在交通系统中，对现实世界神经网络模型进行形式化验证的可行性与局限性。

提出的方法

• 在传统认证基础上增加三项关键要素：神经元到特征的可追溯性以提升可理解性，形式化分析（如混合整数线性规划）以确保正确性，以及将数据验证作为新型规范类型。
• 使用符号推理和混合整数线性规划（MILP）对神经网络结构进行编码，以实现对安全属性的形式化验证。
• 将该方法应用于一个包含84个输入特征的真实高速公路超车运动预测模型，包括本车状态、周围车辆信息和道路状况。
• 采用高斯混合模型表示动作概率，并在侧向速度输出上施加安全约束。
• 在验证前，通过数据验证排除高风险场景（例如左车道变道时左侧有车辆）的训练样本。
• 采用基于SMT的验证方法，通过位向量编码提升可扩展性，尤其适用于量化网络。

实验结果

研究问题

• RQ1 传统认证概念（如可理解性、正确性和有效性）能否有意义地扩展至安全关键系统中的神经网络？
• RQ2 如何将神经元级别的行为与高层安全属性（如避免变道）关联起来？
• RQ3 在自动驾驶的现实世界神经网络架构中，形式化验证的实际局限性是什么？
• RQ4 数据验证与形式化方法在多大程度上可协同确保基于神经网络的运动预测安全性？
• RQ5 网络深度和架构如何影响形式化验证的可扩展性与可行性？

主要发现

• 该方法成功验证了当左侧有车辆时，侧向速度输出始终未超过安全阈值，从而确保了防撞能力。
• 验证时间差异显著：浅层网络（$I_{4\times10}$）仅需5.4秒，而深层网络（$I_{4\times50}$）超过3.5小时，表明存在可扩展性挑战。
• 一个网络（$I_{4\times60}$）在时间限制内无法完成验证，凸显了对更高效验证算法的需求。
• 尽管训练数据完全相同，不同网络权重导致的安全保障程度不同，表明训练本身无法确保安全性。
• 通过MILP编码的形式化验证成功证明了在$I_{4\times60}$网络中，侧向速度从未超过3 m/s，即使验证超时也成立。
• 数据验证至关重要：排除高风险训练样本是成功实现安全属性形式化验证的前提条件。