[論文レビュー] DeepQTest: Testing Autonomous Driving Systems with Reinforcement Learning and Real-world Weather Data

Chengjie Lu, Tao Yue+2 more|arXiv (Cornell University)|Oct 8, 2023

Autonomous Vehicle Technology and Safety被引用数 5

ひとこと要約

DeepQTest は、深層Qネットワークを用いて環境条件を動的に設定することで、自律走行システム（ADS）のための現実的で安全上の懸念があるテストシナリオを強化学習ベースで生成する手法である。Time-To-Collision を最適な報酬関数として採用し、衝突発見能力および現実性において、ランダム法、グリーディ法、および最先端のベースラインを上回っている。

ABSTRACT

Autonomous driving systems (ADSs) are capable of sensing the environment and making driving decisions autonomously. These systems are safety-critical, and testing them is one of the important approaches to ensure their safety. However, due to the inherent complexity of ADSs and the high dimensionality of their operating environment, the number of possible test scenarios for ADSs is infinite. Besides, the operating environment of ADSs is dynamic, continuously evolving, and full of uncertainties, which requires a testing approach adaptive to the environment. In addition, existing ADS testing techniques have limited effectiveness in ensuring the realism of test scenarios, especially the realism of weather conditions and their changes over time. Recently, reinforcement learning (RL) has demonstrated great potential in addressing challenging problems, especially those requiring constant adaptations to dynamic environments. To this end, we present DeepQTest, a novel ADS testing approach that uses RL to learn environment configurations with a high chance of revealing abnormal ADS behaviors. Specifically, DeepQTest employs Deep Q-Learning and adopts three safety and comfort measures to construct the reward functions. To ensure the realism of generated scenarios, DeepQTest defines a set of realistic constraints and introduces real-world weather conditions into the simulated environment. We employed three comparison baselines, i.e., random, greedy, and a state-of-the-art RL-based approach DeepCOllision, for evaluating DeepQTest on an industrial-scale ADS. Evaluation results show that DeepQTest demonstrated significantly better effectiveness in terms of generating scenarios leading to collisions and ensuring scenario realism compared with the baselines. In addition, among the three reward functions implemented in DeepQTest, Time-To-Collision is recommended as the best design according to our study.

研究の動機と目的

• 複雑で動的な環境における安全上の懸念がある自律走行システム（ADS）のための、高インパクトで現実的なテストシナリオを生成する課題に対処すること。
• 既存のテスト手法が現実の天候条件およびその時間的変化をシミュレートする点での制限を克服すること。
• 強化学習を活用して環境パラメータを適応的に設定することで、オンラインのシステムレベルテストの効果性と効率を向上させること。
• 実世界の天候データ統合と事前に定義された物理的制約を用いて、シナリオの現実性を確保すること。
• 異なる報酬関数がテストシナリオ生成の質および効果性に与える影響を調査すること。

提案手法

• テストシナリオ生成を、強化学習エージェントが異常なADS挙動を引き起こすために環境パラメータを設定するという逐次的意思決定問題として定式化し、それをマークフ・決定過程（MDP）としてモデル化する。
• シミュレーション環境との相互作用を通じて最適な環境設定を学習するために、深層Qネットワーク（DQN）を強化学習アルゴリズムとして採用する。
• 交通状況、天候、車両動態を含む高次元の環境状態を符号化するために、マルチモーダルセンサ融合を採用する。
• エージェントを安全上の懸念があるシナリオへ誘導するために、Time-To-Collision（TTC）、Distance to Object（DTO）、Jerk の3つの報酬関数を定義する。
• 現実の天候および時間帯データをリアル効果ジェネレータを介してシミュレーションに統合し、シナリオの現実性を向上させる。
• REST API エンドポイントを通じて環境設定を可能にし、降水量、照明、交通密度などのシミュレーションパラメータをプログラムで制御可能にする。

Figure 1: Overview of DeepQTest

実験結果

リサーチクエスチョン

• RQ1 DeepQTest は、ランダム法、グリーディ法、および DeepCollision ベースラインと比較して、衝突を引き起こすテストシナリオをどれほど効果的に生成できるか？
• RQ2 異なるテストアプローチ間で、天候および時間帯の観点における生成されたテストシナリオの現実性はどのように比較されるか？
• RQ3 TTC、DTO、Jerk の3つの報酬関数のうち、衝突発見能力およびシナリオの多様性という観点から、どの関数が最も効果的なテストシナリオ生成を実現するか？
• RQ4 報酬関数どうしの相関関係はどの程度であり、これは複数目的のテスト戦略設計にどのように影響するか？
• RQ5 生成されたテストシナリオは、将来のADSバージョンのレグレッションテストに再利用可能か？

主な発見

• DeepQTest は、ランダム法およびグリーディ法のベースラインを著しく上回り、衝突を引き起こすテストシナリオを発見する能力において、統計的に有意な向上を示した。
• 最先端の強化学習ベースの手法である DeepCollision と比較して、DeepQTest は同等またはそれ以上の衝突発見率を維持しながら、より現実的なテストシナリオを生成した。
• Time-To-Collision（TTC）が最も優れたパフォーマンスを示し、最高の衝突率に加え、現実性と効果性のバランスが最良であった。
• TTC と DTO 間には正の相関が観察されたが、TTC と Jerk 間には負の相関が確認され、時間的側面の安全性と快適性指標の間にはトレードオフの関係があることが示された。
• ScenarioCollector を通じて収集された生成されたテストシナリオは、衝突状態や軌道ずれなどの実行属性を追跡することで、将来のADSバージョンのレグレッションテストに適している。
• 実世界の天候データおよび時間帯の統合により、シミュレーションにおける生成シナリオの現実性が顕著に向上し、先行研究における主な限界を解消した。

Figure 2: Domain model of the configurable parameters of the ADS operating environment