[論文レビュー] Parameterized Decision-making with Multi-modal Perception for Autonomous Driving

Yuyang Xia, Shuncheng Liu+5 more|arXiv (Cornell University)|Dec 19, 2023

Autonomous Vehicle Technology and Safety被引用数 5

ひとこと要約

本論文は、自動運転のためのパrameterized意思決定フレームワークであるAUTOを提案する。このフレームワークは、グラフベースのモデルを用いて、高精細地図、LiDAR、カメラ、GNSS/IMUといったマルチモーダルなセンシングを統合し、環境への適応性を向上させる。2段階のアクション構造（車線変更意思決定の後、連続的制御を実行）を採用し、安全、効率、快適性、周囲車両への影響を最適化するハイブリッド報酬関数を用いる。CARLAシミュレーションにおいて、マクロスコピックおよびミクロスコピックな指標の両面で最先端の性能を達成している。

ABSTRACT

Autonomous driving is an emerging technology that has advanced rapidly over the last decade. Modern transportation is expected to benefit greatly from a wise decision-making framework of autonomous vehicles, including the improvement of mobility and the minimization of risks and travel time. However, existing methods either ignore the complexity of environments only fitting straight roads, or ignore the impact on surrounding vehicles during optimization phases, leading to weak environmental adaptability and incomplete optimization objectives. To address these limitations, we propose a parameterized decision-making framework with multi-modal perception based on deep reinforcement learning, called AUTO. We conduct a comprehensive perception to capture the state features of various traffic participants around the autonomous vehicle, based on which we design a graph-based model to learn a state representation of the multi-modal semantic features. To distinguish between lane-following and lane-changing, we decompose an action of the autonomous vehicle into a parameterized action structure that first decides whether to change lanes and then computes an exact action to execute. A hybrid reward function takes into account aspects of safety, traffic efficiency, passenger comfort, and impact to guide the framework to generate optimal actions. In addition, we design a regularization term and a multi-worker paradigm to enhance the training. Extensive experiments offer evidence that AUTO can advance state-of-the-art in terms of both macroscopic and microscopic effectiveness.

研究の動機と目的

• 複雑な都市環境における既存の意思決定フレームワークの限界、特に環境への適応性の低さと最適化目的の不完全さを解消すること。
• 高精細地図、LiDAR、カメラ、車両センサからのマルチモーダル入力を統合することで、意思決定のロバスト性を向上させること。
• 車線変更時の自律走行車両の行動が周囲車両に与える影響をモデル化し、交通の混乱を低減すること。
• 車線変更意思決定と実行を分離するパrameterizedアクション構造を用いて、微細かつ連続的な制御を可能とすること。
• 安全、交通効率、乗客の快適性、最小限の影響という複数の目的を、深層強化学習フレームワーク内でのハイブリッド報酬関数を用いて最適化すること。

提案手法

• 高精細地図、LiDAR、カメラ、GNSS、IMUからのデータを統合し、レーン、車両、信号機のリアルタイム特徴を抽出する包括的なマルチモーダルなセンシングスタック。
• マルチモーダル入力からのセマンティック表現を学習するグラフベースのニューラルネットワークで、交通参加者とインfra構造物の相互作用を捉える。
• パrameterizedアクションパラダイムにより意思決定を2段階に分解：まず車線変更の可否を決定し、次に連続的なステアリングおよび速度指令を計算。
• 安全、交通効率、乗客の快適性、後続車両への影響を統合したハイブリッド報酬関数を導入し、ポリシー学習を支援。
• 強化学習の訓練を安定化・高速化するために正則化項とマルチワーカー訓練パラダイムを導入。
• OpenDRIVEマップと合成センサデータを用いたCARLAシミュレータ上で実験を行い、性能を評価。

実験結果

リサーチクエスチョン

• RQ1 多様なセンサと高精細地図からのマルチモーダルなセンシングを効果的に統合することで、複雑な都市走行における環境理解をどのように向上させられるか？
• RQ2 離散的アクション空間と比較して、パrameterizedアクション構造は意思決定性能と安全性をどの程度向上させるか？
• RQ3 周囲車両への影響を報酬関数に組み込むことで、より効率的かつ混乱を引き起こしにくい走行行動が達成可能か？
• RQ4 本フレームワークは、マクロスコピックおよびミクロスコピックな走行指標において、最先端の手法と比較してどの程度の性能を示すか？
• RQ5 正則化項とマルチワーカー訓練設定は、ポリシー収束および安定性にどの程度寄与しているか？

主な発見

• AUTOは、CARLAシミュレーションにおいて、マクロスコピック指標（例：ルート完了率、移動時間）およびミクロスコピック指標（例：滑らかさ、安全性）の両面で最先端の性能を達成している。
• 単なる高速道路を越えた複雑な都市シナリオにおいても、優れた環境適応性を示しており、実用的である。
• パrameterizedアクション構造により、離散的アクション手法と比較して滑らかで逆転可能な車線変更が可能となり、安全リスクが低減された。
• 報酬関数に周囲車両への影響を組み込むことで、より協調的で、後続車両の遅延が減少する走行行動が実現された。
• マルチワーカー訓練設定と正則化項により、訓練の安定性と収束速度が顕著に向上した。
• グラフベースのセンシングモデルは、マルチモーダルなセマンティック特徴を効果的に捉えており、状態表現学習のロバスト性が向上した。