[论文解读] Verifying Aircraft Collision Avoidance Neural Networks Through Linear Approximations of Safe Regions

Kyle D. Julian, Shivam Sharma+2 more|arXiv (Cornell University)|Mar 2, 2019

Adversarial Robustness in Machine Learning参考文献 15被引用 14

一句话总结

本文提出一种方法，通过定义‘可安全发布’区域的线性近似来验证基于神经网络的飞机防撞系统安全性——这些区域是指在其中发布某条建议可确保未来安全的区域。利用Reluplex，该方法验证是否存在生成不安全建议的情况，结果发现了数千个反例，揭示了网络决策边界中的关键缺陷，尤其是在建议切换区域附近。

ABSTRACT

The next generation of aircraft collision avoidance systems frame the problem as a Markov decision process and use dynamic programming to optimize the alerting logic. The resulting system uses a large lookup table to determine advisories given to pilots, but these tables can grow very large. To enable the system to operate on limited hardware, prior work investigated compressing the table using a deep neural network. However, ensuring that the neural network reliably issues safe advisories is important for certification. This work defines linearized regions where each advisory can be safely provided, allowing Reluplex, a neural network verification tool, to check if unsafe advisories are ever issued. A notional collision avoidance policy is generated and used to train a neural network representation. The neural networks are checked for unsafe advisories, resulting in the discovery of thousands of unsafe counterexamples.

研究动机与目标

• 确保基于神经网络的飞机防撞系统安全性，因为错误可能导致灾难性后果。
• 解决验证神经网络在关键空中交通场景中不会发出不安全建议的挑战。
• 开发一种可扩展的验证方法，通过安全区域的线性近似实现对神经网络策略的正式验证。
• 识别并分析网络在训练于经验证策略后仍发出不安全建议的反例。
• 探索扩展方法如‘safeable2’，以放宽严格的边界要求，提升实际安全验证的可行性。

提出的方法

• 为每条建议定义‘可安全发布’区域——即在该区域内发布该建议可保证在策略下未来安全的区域。
• 使用分段线性近似方法对安全区域的非线性边界进行线性化，以使其可被Reluplex中的线性规划求解器使用。
• 引入一个新的状态变量 τ（水平分离丧失时间）以提高安全区域定义的精度。
• 使用Reluplex工具验证：在任一可安全发布区域内是否存在导致不安全建议的输入，将验证问题视为可满足性问题。
• 对全部九种建议及所有可能的先前建议状态应用验证流程，共生成143,048个查询。
• 分析反例，识别网络决策边界中的结构性缺陷，特别是在建议切换点附近。

实验结果

研究问题

• RQ1 线性近似安全区域是否能够实现对基于神经网络的飞机防撞系统的形式化验证？
• RQ2 在训练于经验证策略的神经网络中，实际会发出多少条不安全建议，其在状态空间中的分布位置如何？
• RQ3 离散化程度或近似方法（过低或过高）是否会影响发现的反例数量？
• RQ4 为何如此多的反例集中在建议区域之间的边界上？这一问题能否被缓解？
• RQ5 是否可通过一种放宽的安全属性如‘safeable2’（即至少两个建议可安全覆盖某一区域）来减少误报反例，同时保持安全保证？

主要发现

• 验证过程在25种输入配置中发现了143,048个反例，揭示了不安全建议的广泛发布。
• 数千个反例集中在建议切换边界附近，尤其是DES1500与CL1500之间，表明标准神经网络难以实现精确的边界对齐。
• 在不同线性化级别（τ = 0.125 至 2.0 秒）下，反例数量保持恒定（每离散化级别1,476个），表明更精细的线性化无法减少反例数量。
• 反例在低-τ 和低-h 区域最为普遍，此时COC（冲突解除）建议因即将发生碰撞而本身不安全，揭示了网络行为中的关键缺陷。
• 对不可安全区域的可视化显示，网络在高风险、低分离度场景中错误地发出COC建议，表明需要对策略进行优化。
• 本研究指出，强制神经网络实现精确的建议边界切换过于严苛，从而推动了如‘safeable2’等放宽安全属性的发展。