[論文レビュー] Verifying Aircraft Collision Avoidance Neural Networks Through Linear Approximations of Safe Regions

Kyle D. Julian, Shivam Sharma+2 more|arXiv (Cornell University)|Mar 2, 2019

Adversarial Robustness in Machine Learning参考文献 15被引用数 14

ひとこと要約

本論文では、各アドバイザリを安全に発行できる領域（『安全可能領域』と呼ぶ）の線形近似を定義することで、ニューラルネットワークに基づく航空機衝突回避システムの安全性を検証する手法を提案する。Reluplexを用いて、安全でないアドバイザリが発行されないかを検証し、特にアドバイザリ遷移領域付近で深刻な欠陥を示す数千もの反例を発見した。

ABSTRACT

The next generation of aircraft collision avoidance systems frame the problem as a Markov decision process and use dynamic programming to optimize the alerting logic. The resulting system uses a large lookup table to determine advisories given to pilots, but these tables can grow very large. To enable the system to operate on limited hardware, prior work investigated compressing the table using a deep neural network. However, ensuring that the neural network reliably issues safe advisories is important for certification. This work defines linearized regions where each advisory can be safely provided, allowing Reluplex, a neural network verification tool, to check if unsafe advisories are ever issued. A notional collision avoidance policy is generated and used to train a neural network representation. The neural networks are checked for unsafe advisories, resulting in the discovery of thousands of unsafe counterexamples.

研究の動機と目的

• 誤りが重大な結果を招く可能性があるため、ニューラルネットワークベースの航空機衝突回避システムにおける安全性を保証すること。
• 安全性が求められる空域交通シナリオにおいて、ニューラルネットワークが安全でないアドバイザリを発行しないことを検証する課題に対処すること。
• 安全領域の線形近似を用いて、スケーラブルな形式的検証手法を開発し、ニューラルネットワークポリシーの正式な検証を可能にすること。
• 訓練済みの検証済ポリシーに基づくが、安全でないアドバイザリを発行する反例を特定・分析すること。
• 境界要件を緩和する『safeable2』のような拡張を検討し、実用的な安全性検証を向上させること。

提案手法

• 各アドバイザリに対して『安全可能領域』を定義する。これは、そのアドバイザリを発行することで、ポリシーに従って将来の安全が保証される領域である。
• 安全可能領域の非線形境界を、分段線形近似を用いて線形化し、Reluplexにおける線形プログラミングソルバーの利用を可能にする。
• 安全性領域定義の精度を向上させるために、新たな状態変数τ（水平分離の喪失までの時間）を導入する。
• Reluplexツールを用いて、安全可能領域内の入力が安全でないアドバイザリを生成するかどうかを検証し、充足可能性問題として扱う。
• 全9つのアドバイザリおよび全可能な直前のアドバイザリ状態に対して検証を実施し、合計143,048件のクエリを生成する。
• 反例を分析することで、特にアドバイザリ遷移点付近におけるネットワークの意思決定境界の構造的欠陥を特定する。

実験結果

リサーチクエスチョン

• RQ1 安全可能領域の線形近似は、ニューラルネットワークベースの航空機衝突回避システムの形式的検証を可能にするか？
• RQ2 検証済ポリシーで訓練されたニューラルネットワークは、実際にどれだけの安全でないアドバイザリを発行するのか？また、状態空間のどの領域に位置するのか？
• RQ3 離散化の程度や近似法（過剰または不足）の違いが、発見される反例の数に影響を与えるか？
• RQ4 なぜ多くの反例がアドバイザリ領域の境界付近に集中しているのか？また、これを緩和できるか？
• RQ5 『safeable2』という緩和された安全性特性（少なくとも2つのアドバイザリが領域を安全にカバーできる）は、誤検出の反例を減らしつつも、安全性保証を維持できるか？

主な発見

• 検証プロセスにより、25の入力設定において合計143,048件の反例が発見され、広範囲にわたる安全でないアドバイザリの発行が明らかになった。
• 数千もの反例が、特にDES1500とCL1500の間のアドバイザリ遷移境界付近に集中しており、標準的なニューラルネットワークでは正確な境界整合が達成できないことが示された。
• 線形化のレベル（τ = 0.125〜2.0秒）が異なる場合でも、反例の数は一定（1,476件／離散化レベル）に保たれ、より細かい線形化でも反例が減少しないことが判明した。
• 反例は、τが小さいおよびhが小さい領域で最も顕著であり、これはCOC（Cleared of Conflict）アドバイザリが近い衝突のため安全でないことを示しており、ネットワークの挙動に深刻な欠陥があることを特定した。
• 安全でない領域の可視化により、ネットワークが高リスク・低分離状況において誤ってCOCアドバイザリを発行していることが判明し、ポリシーの見直しが必要であることが示された。
• 本研究は、ニューラルネットワークに対して正確なアドバイザリ境界遷移を強制することは不切であることを示唆し、『safeable2』のような緩和された安全性特性の開発を促進するものである。