[論文レビュー] Self-driving scale car trained by Deep reinforcement learning

Qi Zhang, Tao Du+1 more|arXiv (Cornell University)|Sep 8, 2019

Reinforcement Learning in Robotics参考文献 18被引用数 21

ひとこと要約

本論文では、Unityベースの仮想シミュレーション環境でDeep Q-Networks（DDQN）を用いて1:16スケールの自律走行車両を訓練し、そのポリシーを現実世界に転送する手法を提案している。カメラ入力の前処理によりレーンラインを分離し、報酬ベースの強化学習フレームワークを採用することで、車両は自ら走行レーンの中央を維持するポリシーを学習し、シミュレーションから現実世界への転送が安定した実世界走行性能を示して成功した。

ABSTRACT

The self-driving based on deep reinforcement learning, as the most important application of artificial intelligence, has become a popular topic. Most of the current self-driving methods focus on how to directly learn end-to-end self-driving control strategy from the raw sensory data. Essentially, this control strategy can be considered as a mapping between images and driving behavior, which usually faces a problem of low generalization ability. To improve the generalization ability for the driving behavior, the reinforcement learning method requires extrinsic reward from the real environment, which may damage the car. In order to obtain a good generalization ability in safety, a virtual simulation environment that can be constructed different driving scene is designed by Unity. A theoretical model is established and analyzed in the virtual simulation environment, and it is trained by double Deep Q-network. Then, the trained model is migrated to a scale car in real world. This process is also called a sim2real method. The sim2real training method efficiently handle the these two problems. The simulations and experiments are carried out to evaluate the performance and effectiveness of the proposed algorithm. Finally, it is demonstrated that the scale car in real world obtain the capability for autonomous driving.

研究の動機と目的

• 人間の模倣に依存せずに強化学習を通じて自律走行ポリシーを自動的に学習する自律走行車両の開発を目的とする。
• 安全で現実世界の状況を模倣するシミュレーション環境で訓練することで、現実世界へのデプロイの課題を解決することを目的とする。
• 視覚入力を前処理してレーンラインに焦点を当て、背景ノイズを低減することで、耐性を高めることを目的とする。
• シミュレーションで訓練されたポリシーを物理的スケールカーに最小限の現実世界ファインチューニングで転送する可能性を検証することを目的とする。
• 深層強化学習が、行動クラーニング手法とは異なり、センサー障害下でも意思決定を可能にすることを示すこと

提案手法

• Unity環境で、カスタム報酬関数を用いて、生のカメラ画像からステアリングコマンドへのマッピングを実行する二重深層Qネットワーク（DDQN）エージェントを訓練した。
• Cannyエッジ検出とHough線形変換を用いて、入力画像を前処理し、レーンラインを分離することで背景ノイズを低減した。
• 時間的ダイナミクスを捉えるために、4つの連続した処理済みフレーム（80x80）を入力状態としてスタックした。
• OpenAI Gymを基盤とする仮想シミュレーション環境を用い、実世界の寸法に一致する3.5x4mのトラックと右側走行ルールを採用した。
• 実世界デプロイのため、推論パイプラインをUnity出力からRaspberry Piのリアルタイムカメラ入力に切り替えるように変更した。
• トラック中央からの逸脱をペナルティ化し、滑らかで連続的な運動を促進する報酬メカニズムを実装した。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習エージェントは、人間の模倣なしに、シミュレーション環境でスケールカーを自律走行させることができるか？
• RQ2 レーンラインを分離するための視覚前処理を用いる場合、自律走行車両における仮想から現実へのポリシー転送はどの程度効果的か？
• RQ3 カメラ入力を前処理してレーンラインのみを抽出することで、実世界デプロイにおけるポリシーの汎化性と耐性は向上するか？
• RQ4 状態前処理を施したDDQNは、エンドツーエンドの行動クラーニングと比較して、センサー雑音や環境変動への対処能力はどのように異なるか？
• RQ5 複雑なカーブ走行などの操作において、訓練されたポリシーは実世界の条件下でも安定性と正確性を維持できるか？

主な発見

• DDQNエージェントは、Unityシミュレーション内で安定した走行ポリシーを学習し、複数のエピソードにわたり車両をレーン中央に維持した。
• エッジ検出とラインセグメンテーションを用いた画像前処理により、エージェントのレーンラインへの注目度が著しく向上し、背景のごみへの過剰適合が低減した。
• ポリシーはシミュレーションから現実世界に成功して転送され、物理的カーはレーンを追従し、右側走行を維持し、自律走行カーブを実行できた。
• 成功は確認されたが、トレーニング時間の延長とカーブ走行時のポリシー不安定化が生じており、前処理によって一部の曲率情報や背景情報が失われた可能性を示唆した。
• 本アプローチは、強化学習が一部の認識モジュールが故障した場合でも、頑健な意思決定を可能にすることを示した。行動クラーニング手法とは対照的である。