[論文レビュー] Adversarial Evaluation of Autonomous Vehicles in Lane-Change Scenarios

Baiming Chen, Xiang Chen+2 more|arXiv (Cornell University)|Apr 14, 2020

Autonomous Vehicle Technology and Safety参考文献 37被引用数 13

ひとこと要約

本稿では、深層強化学習を用いて動的で挑戦的な車線変更シナリオを生成する、適応的で敵対的な評価フレームワークを提案する。アンサンブル方策と非パラメトリックベイズクラスタリングを用いることで、ルールベースおよび学習ベースのドライブモデルの性能的弱みを効率的に特定・活用し、強化学習モデルでは90.6％の衝突率を達成した。これは静的評価手法に比べ、シナリオの多様性と評価効率に優れていることを示している。

ABSTRACT

Autonomous vehicles must be comprehensively evaluated before deployed in cities and highways. However, most existing evaluation approaches for autonomous vehicles are static and lack adaptability, so they are usually inefficient in generating challenging scenarios for tested vehicles. In this paper, we propose an adaptive evaluation framework to efficiently evaluate autonomous vehicles in adversarial environments generated by deep reinforcement learning. Considering the multimodal nature of dangerous scenarios, we use ensemble models to represent different local optimums for diversity. We then utilize a nonparametric Bayesian method to cluster the adversarial policies. The proposed method is validated in a typical lane-change scenario that involves frequent interactions between the ego vehicle and the surrounding vehicles. Results show that the adversarial scenarios generated by our method significantly degrade the performance of the tested vehicles. We also illustrate different patterns of generated adversarial environments, which can be used to infer the weaknesses of the tested vehicles.

研究の動機と目的

• 稀な自然的データに依存する現在の自動運転車両評価手法の非効率性と静的特性を是正すること。
• 周囲の車両を適応的敵対者としてモデル化し、閉ループで動的かつ高リスクのシナリオを生成する、適応的で閉ループのフレームワークを構築すること。
• 敵対的方策生成を通じて、自然的走行データにあまり含まれないレアで高インパクトの故障モードを発見することで、評価の包括性を向上させること。
• 非パラメトリックベイズ手法を用いたクラスタリングにより、多様な敵対的行動をグループ化し、自動運転車両の弱みを体系的に分析すること。
• 調整可能な報酬ハイパーパrameterを用いて敵対的合理性をキャリブレーションし、攻撃性と交通ルール準拠性のバランスを取ること。

提案手法

• フレームワークは、エゴ車両の車線変更中に混乱を引き起こすよう、深層強化学習で訓練された周囲の車両を敵対的エージェントとして扱う。
• 複数の局所最適解を探索するために、DRL方策のアンサンブルを用い、生成される敵対的シナリオの多様性を向上させる。
• 行動パターンに基づいて類似した敵対的方策をグループ化するため、非パラメトリックベイズクラスタリング法（ディリクレ過程混合モデル）を適用する。
• 敵対的報酬関数は r_adv = -r_ego + β·r_rule として定義され、r_ego はエゴ車両のパフォーマンスを測定し、r_rule は交通ルール違反に対してペナルティを課す。
• フレームワークは閉ループで動作し、エゴ車両の行動に応じてリアルタイムで敵対的戦略を適応的に変更することで、動的シナリオ生成を可能にする。
• シミュレーテッド車線変更シナリオにおいて、エゴ車両と周囲の車両との相互作用を検証し、衝突率と状態分布のシフトを指標にパフォーマンスを評価する。

実験結果

リサーチクエスチョン

• RQ1 敵対的深層強化学習は、自動運転車両の意思決定における弱みを露呈する多様で高リスクのシナリオを効果的に生成できるか？
• RQ2 アンサンブル方策とクラスタリングの活用により、単一方策アプローチに比べて敵対的シナリオの多様性とカバレッジはどのように向上するか？
• RQ3 フレームワークは、自然的走行データにあまり含まれない、稀で高インパクトの故障モードをどの程度特定できるか？
• RQ4 報酬ハイパーパrameter β は、敵対的行動の合理性と利用可能性にどのように影響を与えるか？
• RQ5 敵対的評価フレームワークは、シナリオ発見力とパフォーマンス劣化の観点で、静的でデータ駆動の評価手法を上回るか？

主な発見

• 敵対的評価フレームワークは、ルールベースおよび強化学習ベースの車線変更モデルの両方のパフォーマンスを顕著に低下させ、強化学習モデルでは90.6％の衝突率を記録した。
• 敵対的シナリオの状態分布は、自然的走行データと比較して著しく狭く、高リスク領域に集中していることが示され、危険な設定への的確なターゲティングがなされていることが裏付けられた。
• 敵対的方策のアンサンブルは、一様にカバーされない前部ブロッキングや後続テールガーディングなどの複数の故障パターンを効果的に探索した。
• 非パラメトリックベイズクラスタリング法は、敵対的方策を明確な行動モードにグループ化でき、故障メカニズムの解釈可能な分析を可能にした。
• 報酬ハイパーパrameter β の調整により、敵対的合理性を制御可能である：β の値が低いと現実的でない、ルール違反の行動が生じるが、β=1 では攻撃性と現実性のバランスが取れる。
• フレームワークは、静的自然的評価に比べ、稀で高インパクトのシナリオを発見する点で優れた効率性を示し、高次元の方策空間における効率的な探索アルゴリズムとして機能することが明らかになった。