[論文レビュー] Adaptive Stress Testing: Finding Failure Events with Reinforcement Learning

Ritchie Lee, Ole J. Mengshoel+6 more|arXiv (Cornell University)|Nov 6, 2018

Formal Methods in Verification参考文献 25被引用数 5

ひとこと要約

本論文は、自律走行車や航空機の衝突回避システムなど、安全が求められる部分的に観測可能で連続時間のシステムにおける最も可能性の高い障害シナリオを同定するための強化学習ベースのフレームワーク、適応的ストレステスト（AST）を提案する。問題をマルコフ決定過程として定式化し、内部システムの知識を必要としないシミュレーションベースの最適化を用いることで、ASTは効率的に高確率の障害経路を同定する。さらに、DASTと呼ばれる拡張により、システムバージョン間の差分分析が可能となる。

ABSTRACT

Finding the most likely path to a set of failure states is important to the analysis of safety-critical systems that operate over a sequence of time steps, such as aircraft collision avoidance systems and autonomous cars. In many applications such as autonomous driving, failures cannot be completely eliminated due to the complex stochastic environment in which the system operates. As a result, safety validation is not only concerned about whether a failure can occur, but also discovering which failures are most likely to occur. This article presents adaptive stress testing (AST), a framework for finding the most likely path to a failure event in simulation. We consider a general black box setting for partially observable and continuous-valued systems operating in an environment with stochastic disturbances. We formulate the problem as a Markov decision process and use reinforcement learning to optimize it. The approach is simulation-based and does not require internal knowledge of the system, making it suitable for black-box testing of large systems. We present formulations for fully observable and partially observable systems. In the latter case, we present a modified Monte Carlo tree search algorithm that only requires access to the pseudorandom number generator of the simulator to overcome partial observability. We also present an extension of the framework, called differential adaptive stress testing (DAST), that can find failures that occur in one system but not in another. This type of differential analysis is useful in applications such as regression testing, where we are concerned with finding areas of relative weakness compared to a baseline. We demonstrate the effectiveness of the approach on an aircraft collision avoidance application, where a prototype aircraft collision avoidance system is stress tested to find the most likely scenarios of near mid-air collision.

研究の動機と目的

• 確率的で連続的かつ部分的に観測可能な環境で動作する安全が求められるシステムにおける、障害に至る最も可能性の高い経路を同定すること。
• 内部システムのダイナミクスや状態表現へのアクセスを必要としない、シミュレーションベースのブラックボックステストフレームワークを構築すること。
• 複雑なシステムにおける部分的観測性に対処するため、シミュレータの擬似乱数生成器を活用して効果的な探索を可能にすること。
• フレームワークを拡張し、1つのシステムに存在するが基準となるシステムには存在しない障害を同定する差分分析を可能にすること。これはレグRESSIONテストに有用である。
• 実世界の航空機の衝突回避システムを対象にアプローチを検証し、実用的有効性を示すこと。

提案手法

• 確率的環境における時間ステップ上で、障害発生の発見問題をマルコフ決定過程（MDP）として定式化すること。
• 障害状態への到達を最適化する方策を強化学習を用いて最適化し、障害発生の確率を最大化すること。
• 部分的に観測可能なシステムの場合、隠れた状態を推定するためにシミュレータの擬似乱数生成器を活用した変更版モンテカルロツリー探索（MCTS）を用いること。
• テスト対象システムからの観測と行動フィードバックのみを必要とするブラックボックスインターフェースを設計することで、大規模で複雑なシステムへの適用を可能にすること。
• 2つのシステムバージョンを比較して、新しいまたは変更されたシステムにのみ存在する障害を同定する、差分適応的ストレステスト（DAST）を導入すること。
• 解析的モデルやシステム内部構造を必要としないシミュレーションベースの最適化を用いて、高インパクトの障害シナリオを探索すること。

実験結果

リサーチクエスチョン

• RQ1 部分的に観測可能で確率的かつ安全が求められるシステムにおいて、障害に至る最も可能性の高い行動と環境的条件のシーケンスは何か？
• RQ2 連続的な状態空間と行動空間を持つブラックボックスシステムに強化学習をどのように適用し、効率的に障害イベントを発見できるか？
• RQ3 内部状態表現へのアクセスがなければ、シミュレーションベースの手法が部分的観測性をどのように克服できるか？
• RQ4 ASTは、2つのシステムバージョン間の障害感受性の差を同定するためにどのように拡張可能か？
• RQ5 ASTは、実世界の安全が求められる応用分野において、現実的で高確率の障害シナリオをどの程度まで同定できるか？

主な発見

• ASTは、プロトタイプの航空機の衝突回避システムにおいて、高確率の接近中衝突シナリオを効果的に同定し、実用的関連性を示した。
• シミュレータの擬似乱数生成器を活用して隠れた状態を推定することで、部分的に観測可能なシステムにおいても効果的に障害経路を発見できた。
• DASTにより、変更されたシステムにのみ存在する障害を同定でき、効果的なレグRESSIONテストを支援した。
• ブラックボックスとして動作するため、内部システムの知識を一切必要とせず、自律走行車のような大規模で複雑なシステムへも適用可能である。
• 強化学習による高確率障害経路への集中的探索により、ベースラインのストレステスト戦略を上回る性能を示した。
• 航空機の衝突回避システムにおける実験的結果から、ASTが従来のテスト手法では検出できなかった障害シナリオを同定できることを示した。