[論文レビュー] Encoding Distributional Soft Actor-Critic for Autonomous Driving in Multi-lane Scenarios

Jingliang Duan, Yangang Ren+6 more|arXiv (Cornell University)|Sep 12, 2021

Reinforcement Learning in Robotics参考文献 30被引用数 5

ひとこと要約

本稿では、周囲の車両の手動による順序付けルールの必要性を排除するために、置換不変な特徴エンコーダーを用いる、マルチレーン走行における自律走行のための新しい強化学習アルゴリズムであるEncoding Distributional Soft Actor-Critic (E-DSAC) を提案する。E-DSACは、シミュレーションおよび実車両実験の両方で、DSACと比較して約3倍高いポリシー報酬を達成し、滑らかで安全かつ頑健な走行を実現した。また、人間が介入する状況（人間を含むループ）の下でも同様の性能を示した。

ABSTRACT

In this paper, we propose a new reinforcement learning (RL) algorithm, called encoding distributional soft actor-critic (E-DSAC), for decision-making in autonomous driving. Unlike existing RL-based decision-making methods, E-DSAC is suitable for situations where the number of surrounding vehicles is variable and eliminates the requirement for manually pre-designed sorting rules, resulting in higher policy performance and generality. We first develop an encoding distributional policy iteration (DPI) framework by embedding a permutation invariant module, which employs a feature neural network (NN) to encode the indicators of each vehicle, in the distributional RL framework. The proposed DPI framework is proved to exhibit important properties in terms of convergence and global optimality. Next, based on the developed encoding DPI framework, we propose the E-DSAC algorithm by adding the gradient-based update rule of the feature NN to the policy evaluation process of the DSAC algorithm. Then, the multi-lane driving task and the corresponding reward function are designed to verify the effectiveness of the proposed algorithm. Results show that the policy learned by E-DSAC can realize efficient, smooth, and relatively safe autonomous driving in the designed scenario. And the final policy performance learned by E-DSAC is about three times that of DSAC. Furthermore, its effectiveness has also been verified in real vehicle experiments.

研究の動機と目的

• マルチレーン走行における既存の強化学習ベースの意思決定手法の限界、特に車両の順序に敏感であることや、固定された車両数に依存することを解決すること。
• 周囲の車両に対して手動で設計された順序付けルールを必要としない、汎用的でスケーラブルなポリシー学習フレームワークの開発。
• 変動する周囲車両数を伴う複雑で動的な交通環境において、ポリシーの性能と頑健性を向上させること。
• 本手法の有効性を、シミュレーションおよび実車両環境（人間を含むループ干渉を含む）で検証すること。

提案手法

• 置換不変な特徴ニューラルネットワーク（NN）を埋め込んだ、Encoding Distributional Policy Iteration（DPI）フレームワークを導入し、分布的強化学習の文脈で車両指標を符号化する。
• 和および連結演算を用いて、相対状態（例：距離、速度）を特徴NNで符号化し、入力順序に対して不変性を確保する。
• DSACアルゴリズムを拡張し、ポリシー評価中に特徴NNに対する勾配ベースの更新を統合することで、表現とポリシーのエンドツーエンド学習を可能にする。
• 安全で効率的かつ滑らかな運転行動（例：レーンキーピング、レーン変更、追い越し）を促進する構造的報酬関数を備えたマルチレーンハイウェイ走行タスクを設計する。
• 報酬分布をモデル化する分布的強化学習フレームワークを採用し、サンプル効率性とポリシーの頑健性を向上させる。
• 人工的なステアリングホイール介入を含む、シミュレーションおよび実車両実験を用いて手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 置換不変な表現学習フレームワークは、変動する周囲車両数を伴うマルチレーン走行において、ポリシーの一般化性と性能を向上させることができるか？
• RQ2 周囲車両の手動による順序付けルールを排除することで、複雑な交通状況においてより高いポリシー報酬とより高い頑健性が達成できるか？
• RQ3 提案されたE-DSACアルゴリズムは、シミュレーションおよび実世界走行タスクの両方でベースラインのDSACよりも優れた性能を示すか？
• RQ4 人間によるステアリング干渉に対してポリシーはどのように反応するか。これは、ポリシーの頑健性および人間・機械の共有制御との適合性を示唆する。

主な発見

• E-DSACアルゴリズムは、シミュレーテッドマルチレーンハイウェイ環境において、DSACと比較して約3倍高い最終的なポリシー報酬を達成した。
• E-DSACが学習したポリシーは、レーンキーピング、レーン変更、追い越しなどの運転行動を滑らかで効率的かつ安全に実行した。
• 実車両実験では、ポリシーが人間によるステアリング干渉を効果的に処理でき、介入後に素早く正しい走行経路に復帰した。
• 周囲車両の数が変動しても、ポリシーは高い性能と安定性を維持した。これにより、本手法の頑健性と一般化能力が確認された。
• 符号化DPIフレームワークは、他の強化学習アルゴリズム（例：E-SAC、E-TD3、E-DDPG）に対しても成功裏に拡張され、広範な互換性と一貫した性能向上が示された。
• 本手法により、周囲車両の事前定義された順序付けルールの必要性が排除され、実世界への展開におけるスケーラビリティと実用性が著しく向上した。