[論文レビュー] Risk-averse Behavior Planning for Autonomous Driving under Uncertainty

Mohammad Naghshvar, Ahmed K. Sadek+1 more|arXiv (Cornell University)|Dec 4, 2018

Autonomous Vehicle Technology and Safety参考文献 18被引用数 7

ひとこと要約

本論文は、QMDP、アンサンブル変換、および修正されたモンテカルロツリー探索（MCTS）を統合することで、センサ測定値および環境状態の不確実性をモデル化・伝播させる、リスク回避型の自律走行車両行動計画フレームワークを提案する。この手法により、部分的観測下でも堅牢な意思決定が可能となり、センサ範囲が限られている、または遮蔽された合流車両が存在する状況においても、速度とジャッカーの安全なトレードオフを実現する。

ABSTRACT

Autonomous vehicles have to navigate the surrounding environment with partial observability of other objects sharing the road. Sources of uncertainty in autonomous vehicle measurements include sensor fusion errors, limited sensor range due to weather or object detection latency, occlusion, and hidden parameters such as other human driver intentions. Behavior planning must consider all sources of uncertainty in deciding future vehicle maneuvers. This paper presents a scalable framework for risk-averse behavior planning under uncertainty by incorporating QMDP, unscented transform, and Monte Carlo tree search (MCTS). It is shown that upper confidence bound (UCB) for expanding the tree results in noisy Q-value estimates by the MCTS and a degraded performance of QMDP. A modification to action selection procedure in MCTS is proposed to achieve robust performance.

研究の動機と目的

• センサノイズ、遮蔽、人間の意思の不確実性によって引き起こされる部分的観測環境における安全かつ快適な自律走行の挑戦に応えること。
• 測定値および環境状態の不確実性を明示的にモデル化するスケーラブルな意思決定フレームワークを構築し、安全性を向上させること。
• 期待される結果に加え、不確実なシナリオにおける報酬の分散を追跡することで、リスク回避型の行動計画を可能にすること。
• 信念伝搬によるノイジィなQ値推定値に対処するため、MCTSの行動選択を修正することで、木探索のサンプル効率とロバスト性を向上させること。
• 2つの重要な高速道路走行シナリオ（視界が制限される状況、部分的に観測された合流車両）において、フレームワークの有効性を実証すること。

提案手法

• Belief状態からのサンプリングと不確実性下での価値関数の近似により、POMDPをQMDPで解く。
• アンサンブル変換（シグマポイントサンプリング）を用いて、センサ測定値（例：速度ノイズ）からの不確実性を信念状態に伝播させ、平均と分散を保持する。
• 不確実な状態変数1つあたり3つのシグマポイント（平均、および±√2σの摂動）を用い、合流車両の縦方向速度の不確実性を表現する。
• Q値推定値の分散を考慮するリスク回避型基準を用いてMCTSの行動選択を修正し、ノイジィなロールアウト結果に対するロバスト性を向上させる。
• 長期間の計画ホライズンにわたって木探索を実行し、複数のシグマポイント実現下で許容可能な全行動（例：車線維持、車線変更）を評価する。
• パrameter α=0.01 および ε=1 を用いたリスク回避型のユーティリティ関数を用い、不確実性が高い状況ではアグレッシブさよりも安全性を優先する。

実験結果

リサーチクエスチョン

• RQ1 気象要因や遮蔽による速度ノイズなどのセンサ測定値の不確実性を、リスク回避型意思決定を支援するために効果的にモデル化・伝播できるか。
• RQ2 ノイジィまたは不確実な観測下で、分散を考慮した行動選択を施した修正MCTSは、標準MCTSに比べてどれほどロバスト性が向上するか。
• RQ3 センサ範囲が限られている状況において、提案フレームワークが安全性（例：低ジャッカー）とパフォーマンス（例：平均速度）のバランスの取れたトレードオフを達成できるか。
• RQ4 初期測定値が不正確または遅延する部分的に観測された合流車両に対して、フレームワークはどのように対処するか。
• RQ5 アンサンブル変換をQMDPおよびMCTSと統合することで、高次元の不確実性下でも効率的かつスケーラブルな行動計画が可能になるか。

主な発見

• RA-QMDPは、視界が制限される状況において早期に減速することで、より安全な意思決定を達成した。合流地点における距離は30.67m、時間頭巾は1.41sであったのに対し、MCTS-Noisyは15.8mおよび0.54sにとどまり、危険な状況を引き起こした。
• MCTS-Noisyは、初期の速度推定値が誤りであると判明した後に急な減速を示し、ジャッカーが-6.8 m/s³に達した。一方、RA-QMDPはより安定的かつ安全なジャッカー4.0 m/s³を維持した。
• RA-QMDPはMCTS-Noisy（0.54s）よりも高い時間頭巾（1.41s）を達成しており、わずかに低い最終速度（18.32 m/s 対 20.38 m/s）であるものの、より良い安全マージンを示している。
• 平均推定値が示すよりも合流車両が速い可能性を考慮することで、フレームワークは衝突リスクを効果的に低減した。
• リスク回避型行動選択を施した修正MCTSは、ノイジィなQ値推定値による性能低下を軽減し、不確実な状況下で標準MCTSを上回った。
• RA-QMDPは、高不確実性シグマポイントに木探索のパスを割り当てることで、まれだが重要な出来事象を無視しない堅牢性を示した。