[論文レビュー] Learning to Drive using Inverse Reinforcement Learning and Deep Q-Networks

Sahand Sharifzadeh, Ioannis Chiotellis+2 more|arXiv (Cornell University)|Dec 12, 2016

Reinforcement Learning in Robotics参考文献 13被引用数 70

ひとこと要約

本稿は、自律走行など高次元状態空間における報酬関数の抽出を可能にする、深層Qネットワーク（DQN）を統合した新しい逆強化学習（IRL）フレームワークを提案する。射影ベースのIRLとDQNによる価値関数近似を組み合わせることで、熟練運転の模倣から人間らしい衝突回避走行行動を学習し、シミュレーション上で正確な報酬関数の回復と熟練運転に近い性能を達成した。

ABSTRACT

We propose an inverse reinforcement learning (IRL) approach using Deep Q-Networks to extract the rewards in problems with large state spaces. We evaluate the performance of this approach in a simulation-based autonomous driving scenario. Our results resemble the intuitive relation between the reward function and readings of distance sensors mounted at different poses on the car. We also show that, after a few learning rounds, our simulated agent generates collision-free motions and performs human-like lane change behaviour.

研究の動機と目的

• 自律走行に見られる高次元状態空間における報酬関数学習の課題に対処すること。
• 深層Qネットワークを用いて安定な価値関数近似を実現することで、大規模なMDPに逆強化学習を拡張すること。
• 熟練運転の模倣データから、解釈可能で行動的に意味のある報酬関数を抽出できること。
• 学習された報酬関数が、シミュレーション上で衝突回避的で人間らしい走行ポリシーを生成するかを評価すること。
• 本手法が、走行の安全性と快適性の直感的指標と整合する報酬関数を回復できるかを検証すること。

提案手法

• 熟練運転の模倣データから報酬関数を繰り返し精緻化する射影ベースのIRL手法を用いる。
• 従来の表形式Q学習の限界を克服するため、大規模な状態空間におけるQ値関数近似に深層Qネットワーク（DQN）を採用する。
• DQNのトレーニングを安定化させるために、経験再生とターゲットネットワークの更新を適用し、IRLの精緻化ループ内に統合する。
• センサー読み取り値を二値特徴に離散化することで、非線形な報酬依存関係をモデル化し、重み学習の精度を向上させる。
• 熟練運転者とエージェントの行動における特徴期待値の一致度を評価し、報酬の質を測定する。
• 抽出された報酬関数を用いてDQNを訓練し、衝突回避、レーンキープ、ジャージャー最小化の指標によってポリシー性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 深層Qネットワークは、自律走行のような大規模な状態空間問題における逆強化学習で、表形式Q学習の代替として効果的に機能するか？
• RQ2 提案されたIRL-DQNフレームワークは、安全なレーン変更や障害物回避を含む人間らしい走行行動を実現する報酬関数を回復できるか？
• RQ3 抽出された報酬重みは、障害物までの距離やレーン内位置といった直感的な走行安全性指標とどの程度相関しているか？
• RQ4 特徴期待値と運動計画の質の観点から、エージェントの行動は熟練運転の模倣とどの程度一致するか？
• RQ5 本手法は、大量の再トレーニングや人為的な報酬形状設計を要せず、未観測のシナリオにも一般化可能か？

主な発見

• 抽出された報酬重みは、センサー読み取り値との間で非線形的で直感的な関係を示しており、モデルが意味のある安全性と快適性の指標を学習したことを示している。
• センサー6（側面視認）は最小距離で最も高い重みを示しており、熟練運転者がレーンの縁に寄るのを好む傾向を反映している。
• 全テストシナリオで障害物回避率100％を達成し、必要な移動を除き、レーン内位置を維持した。
• エージェントのジャージャー値は熟練運転者と類似しており、滑らかで快適な走行行動を示している。
• 各反復で3000ステップの内側DQNステップを6回実行した結果、特徴期待値の差はほとんどの場合0.2未満であり、最大偏差は0.209にとどまった。
• 可視化結果から、運動計画の進化が明確に観察された：初期段階では不規則な経路を示したが、後期段階では安定的で人間らしいレーン変更と障害物回避が実現された。