[論文レビュー] Autonomous Driving in Reality with Reinforcement Learning and Image Translation

Nayun Xu, Bowen Tan+1 more|arXiv (Cornell University)|Jan 13, 2018

Reinforcement Learning in Robotics参考文献 20被引用数 25

ひとこと要約

本論文は、画像のセマンティックセグメンテーションをドメイン適応手法として用いる強化学習フレームワークを提案し、シミュレーションから現実世界へのギャップを埋める。エージェントは、仮想シーンのセマンティック表現を用いてTORCSシミュレータで訓練され、その後、同じセグメンテーションを現実の画像に適用することで現実世界のドライブに移行する。この手法は、現実世界のデータで36.6%のアクション予測精度を達成し、基本的な強化学習を上回り、データ効率的で安全な訓練の可能性を示している。

ABSTRACT

Supervised learning is widely used in training autonomous driving vehicle. However, it is trained with large amount of supervised labeled data. Reinforcement learning can be trained without abundant labeled data, but we cannot train it in reality because it would involve many unpredictable accidents. Nevertheless, training an agent with good performance in virtual environment is relatively much easier. Because of the huge difference between virtual and real, how to fill the gap between virtual and real is challenging. In this paper, we proposed a novel framework of reinforcement learning with image semantic segmentation network to make the whole model adaptable to reality. The agent is trained in TORCS, a car racing simulator.

研究の動機と目的

• セマンティックセグメンテーションをドメイン適応メカニズムとして用いることで、自律走行の強化学習におけるシミュレーションから現実世界への一般化ギャップを解消すること。
• ラベル付きアクションデータを一切用いない訓練により、大規模な人手によるアノテーションデータセットへの依存を低減すること。
• 視覚入力をセマンティック表現に抽象化することで、重要なドライブ情報を保持しつつ、強化学習エージェントのロバスト性と転送性を向上させること。
• シミュレーションでの安全な訓練を可能にするとともに、現実世界環境に展開した際の性能を維持すること。
• 強化学習エージェントの入力空間におけるグレースケールセマンティック画像とRGBセマンティック画像の有効性を比較評価すること。

提案手法

• エージェントは、ファーストパーソンカメラビューから得られるセマンティックセグメンテーションマップを用いて、TORCSシミュレータで訓練される。
• PSPNetをベースとした画像変換ネットワークが、シミュレータの生画像をセマンティックセグメンテーション出力に変換し、エージェントの観測として使用する。
• 推論時、同じPSPNetを現実世界のドライブ画像に適用して、訓練済みエージェントのための一貫性のあるセマンティック入力を生成する。
• エージェントは、ReLU活性化関数を用いた4層の畳み込みアクターネットワークと、9つの離散的アクション（ステアリング、加速、ブレーキの組み合わせ）を採用する。
• トレーニングにはA3Cを用い、12本の非同期スレッド、RMSProp最適化手法を採用し、ハイパーパrameterは：初期学習率 = 0.01、γ = 0.9、ε = 0.1。
• モデルの性能は、事前に定義されたしきい値ベースのマッピングを用いて、現実世界のステアリング角を離散的アクションに変換することで評価される。

実験結果

リサーチクエスチョン

• RQ1 セマンティックセグメンテーションは、強化学習におけるシミュレーション環境と現実世界環境の間のドメインギャップを効果的に低減できるか？
• RQ2 グレースケールセマンティック画像を観測として用いることで、RGBセマンティック入力と比較して一般化性能が向上するか？
• RQ3 ラベルなしのアクションデータや微調整を一切行わずに、シミュレーションで訓練された強化学習エージェントの性能が、現実世界のドライブデータにどのように転送されるか？
• RQ4 共通のセグメンテーションネットワークを用いたドメイン適応戦略が、自律走行におけるシミュレーションから現実世界への転送を改善できるか？
• RQ5 セグメンテーションの品質が、現実世界での最終ポリシー性能に与える影響は何か？

主な発見

• モデルは、ラベルなしのアクションデータを用いた基本的な強化学習ベースライン（28.1%）と、同じタスクで学習した教師ありモデル（52.6%）を上回り、現実世界のドライブデータで36.6%のアクション予測精度を達成した。
• グレースケールセマンティック画像をエージェントの入力として用いることで、RGBセマンティック入力と比較してより優れた一般化性能と高い性能が得られた。
• 本フレームワークは、現実世界のラベルなしデータを一切必要とせず、シミュレーションで訓練されたポリシーを現実世界のドライブに成功裏に転送した。
• 性能はセマンティックセグメンテーションの品質に依存しており、今後のセグメンテーション技術の向上がポリシー性能の向上に直ちに寄与することが示唆された。
• 結果から、セマンティックセグメンテーションは、視覚的ノイズやドメインシフトを低減しつつ、重要なドライブ情報を保持する有効な抽象化層であることが示された。
• 共通のセグメンテーションネットワークを用いることで、仮想環境と現実環境のエージェント入力分布を一致させることで、シミュレーションから現実世界へのギャップが効果的に埋められた。