[論文レビュー] A Continuous-Time Model of an Autonomous Aerial Vehicle to Inform and Validate Formal Verification Methods

Murray Ireland, R. Hoffmann+3 more|arXiv (Cornell University)|Sep 1, 2016

Formal Methods in Verification参考文献 23被引用数 4

ひとこと要約

本論文では、形式的検証モデルの情報提供と検証を目的として、四脚ローターUAVが自律ミッションを実行する連続時間シミュレーションモデルを提示する。モンテカルロシミュレーションを用いて、故障率や成功確率といった定量的ミッション特性を生成し、PRISMを用いた確率的モデルチェックにおける抽象的で記号的なモデルの開発を支援することで、自律航空機器のより正確で包括的な検証が可能になる。

ABSTRACT

If autonomous vehicles are to be widely accepted, we need to ensure their safe operation. For this reason, verification and validation (V&V) approaches must be developed that are suitable for this domain. Model checking is a formal technique which allows us to exhaustively explore the paths of an abstract model of a system. Using a probabilistic model checker such as PRISM, we may determine properties such as the expected time for a mission, or the probability that a specific mission failure occurs. However, model checking of complex systems is difficult due to the loss of information during abstraction. This is especially so when considering systems such as autonomous vehicles which are subject to external influences. An alternative solution is the use of Monte Carlo simulation to explore the results of a continuous-time model of the system. The main disadvantage of this approach is that the approach is not exhaustive as not all executions of the system are analysed. We are therefore interested in developing a framework for formal verification of autonomous vehicles, using Monte Carlo simulation to inform and validate our symbolic models during the initial stages of development. In this paper, we present a continuous-time model of a quadrotor unmanned aircraft undertaking an autonomous mission. We employ this model in Monte Carlo simulation to obtain specific mission properties which will inform the symbolic models employed in formal verification.

研究の動機と目的

• 複雑で時間依存性のあるシステムに適用可能であり、包括的な形式的手法による自律航空機器（UAV）の検証の課題に対処すること。
• モンテカルロシミュレーションを用いて定量的ミッション特性を抽出することで、高精度なシミュレーションと記号的形式検証の間のギャップを埋めること。
• シミュレーション結果が確率的モデルチェックにおける抽象化プロセスを検証・支援するフレームワークを構築すること。
• 抽象的記号モデルでは捉えきれないが、連続時間シミュレーションで捉えられるUAVミッションにおけるシステムレベルの行動や故障モードを特定すること。
• シミュレーションから得たデータと形式的検証モデルを結びつけることで、再利用可能で適応可能な自律システムの検証フレームワークの基盤を築くこと。

提案手法

• ターゲット配達ミッションを実行する四脚ローターUAVの連続時間数学的モデルを構築し、離陸、探索、検出、把持、配達、帰還という明確な状態を定義した。
• 探索、検出、把持、基地への帰還、ターゲットの再取得といったモードを含む、自律制御のための有限状態機械（FSM）を実装した。
• 2,000回のミッション反復を実行するモンテカルロシミュレーションを用い、ランダムなターゲットおよびドロップサイト配置、センサー認識、バッテリー劣化などの確率的行動を捉えた。
• 成功／失敗率、完了までの時間、ターゲットが検出されなかったり、ターゲットとドロップサイトの位置が重複するなどの要因を含むミッション結果を定量的に評価した。
• シミュレーションから得た定量的指標（例：故障確率、期待ミッション時間）を抽出し、PRISMのモデルチェックに用いる抽象的記号モデルの構築を支援した。
• 特に時間依存行動やセンサーの遮蔽や遅延といったシステムレベルの側面を扱う際の、シミュレーションと記号モデルとの間の乖離を特定した。

実験結果

リサーチクエスチョン

• RQ1 連続時間シミュレーションをどのように活用すれば、UAVの形式的検証の抽象化プロセスに情報提供する信頼性のある定量的ミッション特性を生成できるか？
• RQ2 シミュレーションに捉えられるが、抽象的記号モデルでは見逃されがちな自律UAVミッションの主な故障モードは何か？
• RQ3 簡略化された仮定（例：完璧なセンサー、遅延なし）を含む記号モデルでは、高精度なシミュレーションと比較して、検証結果がどれほど不正確になるか？
• RQ4 モンテカルロシミュレーションの結果を、PRISMを用いた確率的モデルチェックで使用する記号モデルの検証および精錬に体系的に行うことは可能か？
• RQ5 検証の正確性を保証するためには、記号モデルに保持すべき重要なシステムレベルのダイナミクス（例：バッテリー劣化、センサーの遮蔽）は何か？

主な発見

• シミュレーションにより、ターゲットの3つ中2つを正常に配達した場合でも、ターゲットとドロップサイトの位置が偶然重複することでミッション失敗が発生することが判明した。
• ミッション失敗の約10％は、環境内でのコーナー配置によるターゲットの検出不能が原因であり、これは当初のFSM設計で想定されていなかった。
• ミッション開始時からドロップ半径内にターゲットが存在するにもかかわらず、UAVがそのターゲットを検出できず、ミッションが失敗したと誤認する事例が発生した。
• カメラがグリッパーに遮られる、オブジェクト検出の遅延といったセンサーおよびアクチュエータの制限が、当初の記号モデルには反映されておらず、過剰に楽観的な検証結果を生じさせた。
• シミュレーションにより、元の設計に存在しなかった「ターゲットの再取得」や「再探索へ戻る」などの追加FSM状態の必要性が明らかになった。これは抽象化のギャップを示している。
• 故障確率や期待ミッション時間といった、シミュレーションから得た定量的データは、現実世界のダイナミクスをよりよく反映するように記号モデルを精錬するために不可欠であった。