[論文レビュー] Adaptive Stress Testing for Autonomous Vehicles

Mark Koren, Saud Alsaif+2 more|arXiv (Cornell University)|Feb 5, 2019

Autonomous Vehicle Technology and Safety参考文献 21被引用数 4

ひとこと要約

本稿では、強化学習を用いてシミュレーション内で高確率の故障シナリオを効率的に同定するための、自律走行車両向けの適応的ストレステスト（AST）フレームワークを提案する。問題をマルコフ決定過程として定式化し、モンテカルロ木探索（MCTS）と深層強化学習（DRL）を比較することで、DRLがシミュレータ呼び出し回数を数個のオーダーも小さく抑えながらも、より高い確率の故障シナリオを同定できることを示しており、大幅に効率性が向上している。

ABSTRACT

This paper presents a method for testing the decision making systems of autonomous vehicles. Our approach involves perturbing stochastic elements in the vehicle's environment until the vehicle is involved in a collision. Instead of applying direct Monte Carlo sampling to find collision scenarios, we formulate the problem as a Markov decision process and use reinforcement learning algorithms to find the most likely failure scenarios. This paper presents Monte Carlo Tree Search (MCTS) and Deep Reinforcement Learning (DRL) solutions that can scale to large environments. We show that DRL can find more likely failure scenarios than MCTS with fewer calls to the simulator. A simulation scenario involving a vehicle approaching a crosswalk is used to validate the framework. Our proposed approach is very general and can be easily applied to other scenarios given the appropriate models of the vehicle and the environment.

研究の動機と目的

• 膨大で複雑な走行シナリオ空間における自律走行車両の意思決定システムの検証という課題に対処すること。
• まれな衝突イベントのため、直接的なモンテカルロサンプルが不可能なシミュレーションにおいて、高確率の故障シナリオを効率的に同定すること。
• 以前は航空機に用いられていたAST手法を、強化学習を用いて自律走行車両に拡張すること。
• MCTSとDRLをASTのソルバーとして比較し、故障シナリオの同定における効率性と有効性を評価すること。
• 車両、センサー、ダイナミクスのモデルを容易に交換可能なモジュラーなシミュレーションフレームワークを構築すること。

提案手法

• 故障確率を最大化する環境的摂動を目的とするマルコフ決定過程（MDP）として、適応的ストレステスト問題を定式化する。
• 二重プログレッシブワイドニング（DPW）を用いたモンテカルロ木探索（MCTS）を用い、木ベースのサンプリングにより状態空間を探索し、故障シナリオを同定する。
• ガウス分布からの行動平均を出力する方策ネットワークを用いた深層強化学習（DRL）を実装し、行動を確率的にサンプリングする。
• 一般化された利得推定（GAE）を用いて、シミュレーションの軌道から方策勾配を計算し、効率的な方策最適化を実現する。
• 衝突確率を最大化するように報酬関数を定義し、状態空間には車両の位置、歩行者の行動、センサーのノイズを含める。
• 車両の意思決定システム、センサー、ダイナミクスを容易に交換可能な、自動車走行モデル（ADM）シミュレータに基づくモジュラーなシミュレーションフレームワークを採用する。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習（DRL）は、自律走行車両の高確率の故障シナリオを同定する際、モンテカルロ木探索（MCTS）を上回ることができるか？
• RQ2 DRLとMCTSの間で、故障シナリオを同定するために必要なシミュレータ呼び出し回数の観点から、それぞれの効率性はどのように比較できるか？
• RQ3 ASTフレームワークは、異なる環境モデルを有する他の自律走行車両シナリオへどの程度一般化可能か？
• RQ4 MCTSとDRLの解における歩行者および車両の軌道にはどのような違いがあり、それらは故障シナリオの質をどのように示しているか？
• RQ5 自律走行車両（SUT）が責任を負う故障に焦点を当てるように、関心の対象イベント空間を再定義することで、ASTを強化できるか？

主な発見

• DRLはMCTSが要請するシミュレータ呼び出し回数の1%未満で、より高い確率の故障シナリオを同定でき、優れた効率性を示した。
• 単一歩行者、二重歩行者、歩行者開始位置の変動というすべてのテストシナリオにおいて、DRLは収束速度と解の質の両面で一貫してMCTSを上回った。
• DRLが生成した歩行者の軌道は滑らかで、加速度が小さく、MCTSが生成した急激な高加速度の動きに比べ、より現実的で確率の高い故障経路を示していた。
• MCTSは、二重歩行者ケースのような複数エージェントシナリオにおける結合効果に苦労し、最初の歩行者の非最適な経路が全体の報酬効率を低下させた。
• 本フレームワークは、車両が歩行者を適切に検知できなかった原因（シナリオ2）を効果的に同定した。これは、SUTの責任に焦点を当てるようにイベント空間を再定義する必要性を浮き彫りにした。
• モジュラーなシミュレーションフレームワークにより、異なるセンサーモデル、意思決定システム、環境ダイナミクスの容易な統合が可能となり、広範な適用性が実証された。