[論文レビュー] Reinforcement Learning based Control of Imitative Policies for Near-Accident Driving

Zhangjie Cao, Erdem Bıyık+5 more|arXiv (Cornell University)|Jul 1, 2020

Autonomous Vehicle Technology and Safety参考文献 52被引用数 5

ひとこと要約

本稿では、近事故走行状況における安全かつ効率的なナビゲーションを可能にする階層的強化学習および模倣学習フレームワーク、H-ReILを提案する。低レベルの走行モード（例：攻撃的、慎重）に対して模倣学習を適用し、高レベルのモード切り替えには強化学習を組み合わせることで、小さな状態変化が急激な行動変化を引き起こすような状況でも安定した走行が可能となる。本手法は、安全性と効率性の両面で優れた性能を示し、ユーザー研究ではベースラインと比較して統計的に有意に好まれている（p < 0.005）。

ABSTRACT

Autonomous driving has achieved significant progress in recent years, but autonomous cars are still unable to tackle high-risk situations where a potential accident is likely. In such near-accident scenarios, even a minor change in the vehicle's actions may result in drastically different consequences. To avoid unsafe actions in near-accident scenarios, we need to fully explore the environment. However, reinforcement learning (RL) and imitation learning (IL), two widely-used policy learning methods, cannot model rapid phase transitions and are not scalable to fully cover all the states. To address driving in near-accident scenarios, we propose a hierarchical reinforcement and imitation learning (H-ReIL) approach that consists of low-level policies learned by IL for discrete driving modes, and a high-level policy learned by RL that switches between different driving modes. Our approach exploits the advantages of both IL and RL by integrating them into a unified learning framework. Experimental results and user studies suggest our approach can achieve higher efficiency and safety compared to other methods. Analyses of the policies demonstrate our high-level policy appropriately switches between different low-level policies in near-accident driving situations.

研究の動機と目的

• 小さな状態変化が急激な行動変化を引き起こすような、高リスクで近事故に近い走行状況における安全かつ効率的な意思決定の課題に対処すること。
• 走行ポリシーにおける非滑らかで急速なフェーズ遷移を扱う上で、純粋な強化学習（RL）や模倣学習（IL）の限界を克服すること。
• 特定の走行スタイルに特化した専門家のデモンストレーションを活用しつつ、強化学習による動的モード切り替えを可能にするスケーラブルなフレームワークを開発すること。
• 無保護左折や合流などの複雑な走行状況において、安全性と効率性のバランスの取れた妥当なトレードオフを実現すること。
• 実際の近事故環境におけるシミュレーションとユーザー評価を通じて、階層的ポリシー学習の有効性を実証すること。

提案手法

• 安全性と効率性のトレードオフに基づき、ドライバー行動に応じた離散的走行モード（例：攻撃的、慎重）を定義する。
• 条件付き模倣学習を用いて低レベルポリシーを訓練し、各ポリシー分岐が特定の走行モードに特化するようにする。
• 現在の環境状態に基づいて最適な低レベルポリシーを選択する高レベルの強化学習ポリシーを実装する。
• 共通の特徴抽出器に加え、モード固有の行動分岐を備えた構造とし、高レベルの行動 $a_h$ がアクティブな低レベルポリシーを選択する。
• CARLAでシミュレートされた環境で、安全性と効率性に対する密度の高い報酬を用いて高レベルポリシーを訓練し、適応的なモード切り替えを可能にする。
• 階層的ポリシーを統合的なフレームワークに組み込み、近事故走行状況においてエンドツーエンドの訓練とデプロイメントを可能にする。

実験結果

リサーチクエスチョン

• RQ1 小さな状態変化が急激な行動変化を引き起こすような近事故走行状況において、階層的RL-ILフレームワークは、急速なフェーズ遷移を効果的にモデル化できるか？
• RQ2 特定の走行モードに模倣学習を適用し、モード切り替えに強化学習を組み合わせることで、純粋なILやRLと比較して安全性と効率性が向上するか？
• RQ3 高レベルポリシーは、接近車両の速度などの動的環境要因に応じて適切にモードを切り替えることができるか？
• RQ4 時間制約下での衝突回避率と完了率を評価した場合、H-ReILはベースライン手法（例：IL、Random、Aggressive）と比較してどのように差をつけるか？
• RQ5 人間ユーザーは、安全性と走行品質の観点から、H-ReILを他の走行ポリシーと比較してどの程度好むか？

主な発見

• 49名の被験者を対象とした7段階リッカート尺度のユーザー研究において、H-ReILはベースライン手法と比較して統計的に有意に好まれており、p値は0.005未満であった。
• ストップアンドゴー（Halting Car）および逆走（Wrong Direction）のシナリオでは、それぞれ[35,75]および[25,45]のタイムステップ付近で明確なフェーズ遷移が観察され、衝突リスクが上昇した際に慎重モードに切り替わっていた。
• H-ReILは、ILの控えめな慎重モードよりも速く、攻撃的モードよりも遅い中程度の速度を維持しながら、衝突率はILと同等でありながら、全体的な効率性が優れていた。
• クロストラフィック（Cross Traffic）シナリオでは、時間制限が異なる条件下でも、H-ReILはILやRandomと比較して一貫して高いまたは同等の完了率を達成しており、長時間制約下では攻撃的ベースラインを上回った。
• ポリシー可視化の結果、H-ReILは危険度の高い領域では慎重モードを正しく選択し、安全な領域では攻撃的モードを選択しており、文脈に応じた適切な切り替えが実現していることが確認された。
• 低レベルのILポリシーは、各モードごとに最小限の専門家デモンストレーションで成功裏に訓練され、高レベルのRLポリシーは完全な環境カバレッジを必要とせずに、効果的にモード選択を調整していた。