[論文レビュー] NNLander-VeriF: A Neural Network Formal Verification Framework for Vision-Based Autonomous Aircraft Landing

Ulices Santa Cruz, Yasser Shoukry|arXiv (Cornell University)|Mar 29, 2022

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

NNLander-VeriF は、カメラの画像形成プロセスを幾何学的に ReLU 神経ネットワークとしてモデル化する形式的検証フレームワークであり、市販の NN モデルチェッカーを用いて、視覚ベースの自律飛行機の着陸システムをエンド・ツー・エンドで検証可能である。このフレームワークは、500 の領域において、平均して1領域あたり76秒以内に、2層の ReLU コントローラーの形式的セーフティ検証を達成した。

ABSTRACT

In this paper, we consider the problem of formally verifying a Neural Network (NN) based autonomous landing system. In such a system, a NN controller processes images from a camera to guide the aircraft while approaching the runway. A central challenge for the safety and liveness verification of vision-based closed-loop systems is the lack of mathematical models that captures the relation between the system states (e.g., position of the aircraft) and the images processed by the vision-based NN controller. Another challenge is the limited abilities of state-of-the-art NN model checkers. Such model checkers can reason only about simple input-output robustness properties of neural networks. This limitation creates a gap between the NN model checker abilities and the need to verify a closed-loop system while considering the aircraft dynamics, the perception components, and the NN controller. To this end, this paper presents NNLander-VeriF, a framework to verify vision-based NN controllers used for autonomous landing. NNLander-VeriF addresses the challenges above by exploiting geometric models of perspective cameras to obtain a mathematical model that captures the relation between the aircraft states and the inputs to the NN controller. By converting this model into a NN (with manually assigned weights) and composing it with the NN controller, one can capture the relation between aircraft states and control actions using one augmented NN. Such an augmented NN model leads to a natural encoding of the closed-loop verification into several NN robustness queries, which state-of-the-art NN model checkers can handle. Finally, we evaluate our framework to formally verify the properties of a trained NN and we show its efficiency.

研究の動機と目的

• 視覚ベースの自律システムにおいて、航空機の状態とカメラ画像を結びつける形式的モデルの欠如に対処する。
• 最新の NN モデルチェッカーが単純な入出力のロバストネス特性しか検証できないという制限を克服する。
• 航空機の運動、センシング、NN コントロールを統合した1つの拡張されたニューラルネットワークとして、閉ループシステムの形式的検証を可能にする。
• 視覚ベースの自律飛行機の着陸におけるセーフティおよびライブネス特性の検証にスケーラブルなフレームワークを提供する。
• 幾何的モデリングと市販ツールを用いて、現実世界の高次元のセンシングシステムにおける形式的検証の実現可能性と効率性を実証する。

提案手法

• 航空機の状態（位置、姿勢）からピクセル座標へのマッピングを、幾何的原則を用いて、透視カメラの画像形成プロセスをモデル化する。
• カメラの内部パラメータに基づいて手動で割り当てた重みを有する ReLU 神経ネットワークとして、幾何的画像形成モデルを表現する。
• 認識用 NN とトレーニング済みの NN コントローラーを合成して、航空機の状態を直接制御入力にマッピングする拡張 NN を構築する。
• 境界付きモデルチェックを用いて、安全制約をブール論理式として符号化した有限状態機械（FSM）を生成し、時間経過に伴うシステムの進化を表現する。
• PeregriNN を用いて、複数の初期条件において、拡張 NN のロバストネス特性を検証する。
• SAT4J を用いて有限状態機械の検証部を実装し、20ステップのホライズンで境界付きモデルチェックを実行する。

実験結果

リサーチクエスチョン

• RQ1 カメラの画像形成プロセスの幾何的モデルを ReLU 神経ネットワークとして符号化できるか。これにより、視覚ベースのコントローラーの形式的検証が可能になるか。
• RQ2 認識部と制御部が1つの拡張ネットワークに統合された場合、既存の NN モデルチェッカーが、複雑な閉ループシステムの特性をどの程度検証できるか。
• RQ3 このフレームワークを用いて、視覚ベースの自律着陸システムの形式的検証をどの程度効率的に行えるか。
• RQ4 画像解像度や異なる初期条件における、フレームワークのスケーラビリティはどの程度か。
• RQ5 このフレームワークは、多様な着陸軌道と危険状態領域において、NN コントローラーのセーフティ検証をどのように処理するか。

主な発見

• 500 のランダムに抽出された初期条件において、安全仕様 φ = □¬q_unsafe がすべてのケースで正当であると検証された。
• PeregriNN を用いた平均検証時間は1領域あたり76秒であり、実世界への展開において実用的な効率性を示した。
• 有限状態機械のサイズが増大するに従い、検証時間は μ=0.1 の2000秒から μ=1.1 の7000秒へと単調に増加し、スケーラビリティのトレードオフを確認した。
• 拡張ニューラルネットワーク（NN_aug）により、航空機の状態から制御入力への完全なマッピングを符号化でき、これにより既存の NN モデルチェッカーが適用可能になった。
• 画像形成プロセスの分(piecewise affine, PWA)近似を用いることで、正確に ReLU ネットワークとして符号化可能であったが、近似誤差の可能性は残存した。
• 認識を幾何学的にモデル化し、コントローラーと統合することで、視覚ベースのシステムの形式的検証が実現可能であることを示した。