[論文レビュー] Quadratic Q-network for Learning Continuous Control for Autonomous Vehicles

Pin Wang, Hanhan Li+1 more|arXiv (Cornell University)|Nov 29, 2019

Reinforcement Learning in Robotics参考文献 17被引用数 9

ひとこと要約

本論文では、Q学習とPID制御の知識を組み合わせることで、動的走行シナリオにおける自動運転車両の滑らかで連続的な制御を可能にする2次Qネットワークを提案する。行動の二次形式としてQ関数をモデル化し、ドメイン固有の行動ネットワークを統合することで、方策勾配法や離散行動の量子化に依存せずに、lane changeおよびramp mergeタスクにおいて安定的で高報酬のドライブ方策を達成した。

ABSTRACT

Reinforcement Learning algorithms have recently been proposed to learn time-sequential control policies in the field of autonomous driving. Direct applications of Reinforcement Learning algorithms with discrete action space will yield unsatisfactory results at the operational level of driving where continuous control actions are actually required. In addition, the design of neural networks often fails to incorporate the domain knowledge of the targeting problem such as the classical control theories in our case. In this paper, we propose a hybrid model by combining Q-learning and classic PID (Proportion Integration Differentiation) controller for handling continuous vehicle control problems under dynamic driving environment. Particularly, instead of using a big neural network as Q-function approximation, we design a Quadratic Q-function over actions with multiple simple neural networks for finding optimal values within a continuous space. We also build an action network based on the domain knowledge of the control mechanism of a PID controller to guide the agent to explore optimal actions more efficiently.We test our proposed approach in simulation under two common but challenging driving situations, the lane change scenario and ramp merge scenario. Results show that the autonomous vehicle agent can successfully learn a smooth and efficient driving behavior in both situations.

研究の動機と目的

• 標準的な強化学習における離散的行動空間がもたらす性能の劣化という課題に対処する。
• 深層Qネットワークが連続的行動空間で示す限界を克服するため、最適行動の閉形式解を設計する。
• 古典的制御理論（PID）からのドメイン知識をニューラルネットワークアーキテクチャに統合し、サンプル効率と方策の滑らかさを向上させる。
• 連続的行動を用いたモデルフリー強化学習フレームワークで、複雑な走行行動（lane changeおよびramp merge）の有効な学習を実証する。
• 別個の方策ネットワークを回避し、訓練の不安定性を低減することで、方策勾配法の代替としてスケーラブルな手法を提供する。

提案手法

• 行動の二次関数としてQ値をパラメータライズする2次Q関数を提案し、最適行動の解析的計算を可能にする。
• 非線形状態特徴を抽出するためのニューラルネットワークを用い、その出力を2次Q関数の入力として使用する。
• PID制御の原則に基づいた行動ネットワークを設計し、探索をガイドし、滑らかで物理的に妥当な行動を生成する。
• 経験リプレイとターゲットネットワークを用いたリプレイバッファでネットワークを訓練し、Adam最適化法と割引率0.95を用いる。
• メモリサイズ2000、バッチサイズ64の経験リプレイを適用し、1000ステップごとにターゲットネットワークを更新する。
• 訓練の安定性と収束性を向上させるために、優先順位付き経験リプレイを用いたダブルDQNアプローチを採用する。

実験結果

リサーチクエスチョン

• RQ1 2次Q関数近似は、自律走行における連続的制御方策の効率的で安定的な学習を可能にするか？
• RQ2 PID制御からのドメイン知識統合は、強化学習ベースの走行エージェントにおけるサンプル効率と方策の滑らかさをどのように向上させるか？
• RQ3 提案手法は、シミュレーテッド環境においてlane changeやramp mergeといった複雑な走行行動を効果的に学習できるか？
• RQ4 離散的行動量子化を用いた標準DQNに比べ、2次Qネットワークは走行の滑らかさと報酬蓄積の点で優れているか？
• RQ5 制御理論に基づく行動ネットワークは、連続的制御タスクにおける探索時間の短縮と収束性の向上にどの程度寄与するか？

主な発見

• 訓練損失は時間経過とともに収束し、蓄積された総報酬も安定的に増加しており、走行行動の有効な学習が行われたことを示している。
• テスト結果では、1チェックポイントあたり100エピソードごとの平均報酬に一貫した上行傾向が見られ、エージェントが強固で一般化可能な方策を学習したことが確認された。
• lane changeシナリオにおける軌道は、最終訓練段階で初期段階と比較して著しく滑らかで安定的になった。
• ramp mergeシナリオにおける加速度プロファイルも、最終モデルでは滑らかになっており、縦方向制御と快適性の向上が示された。
• 報酬関数設計が安全、快適、効率を最優先にした最終方策は、安全で効率的かつ快適な走行行動を実現した。
• 方策勾配法や離散的行動空間の近似を一切必要とせず、連続的制御方策を効果的に学習した。