[論文レビュー] Latent Space Reinforcement Learning for Steering Angle Prediction

Qadeer Khan, Torsten Schön+1 more|arXiv (Cornell University)|Feb 11, 2019

Autonomous Vehicle Technology and Safety参考文献 8被引用数 7

ひとこと要約

本論文では、セマンティックシーン埋め込みの潜在空間表現を用いて、感知と制御を分離することで、生のRGB画像からステアリング角度を予測するモジュラーな深層強化学習フレームワークを提案する。本手法は、人間の模倣なしにエンドツーエンドの自律走行ポリシー学習を達成し、非対称なターンにおける報酬設計の難しさにもかかわらず、高精細シミュレータ内での成功したナビゲーションを示している。

ABSTRACT

Model-free reinforcement learning has recently been shown to successfully learn navigation policies from raw sensor data. In this work, we address the problem of learning driving policies for an autonomous agent in a high-fidelity simulator. Building upon recent research that applies deep reinforcement learning to navigation problems, we present a modular deep reinforcement learning approach to predict the steering angle of the car from raw images. The first module extracts a low-dimensional latent semantic representation of the image. The control module trained with reinforcement learning takes the latent vector as input to predict the correct steering angle. The experimental results have showed that our method is capable of learning to maneuver the car without any human control signals.

研究の動機と目的

• 生のカメラ入力から直接動作する強化学習ベースの自律走行ポリシーを開発すること。
• 低次元の潜在表現を介して、認識（セマンティックセグメンテーション）と制御（ポリシー学習）を分離することで、サンプル効率とロバスト性を向上させること。
• 特に、急なペナルティを伴う左ターンにおける報酬信号の疎らさと不連続性という課題に対処すること。
• 生のピクセルデータではなくセマンティックラベルで学習することで、照明や天候の変化にわたるポリシーの一般化を可能にすること。
• 次元削減によってセマンティックマップの空間的冗長性を活用し、制御ポリシーの複雑さを低減すること。

提案手法

• 生のRGB画像から13の出力チャンネル（異なるシーンクラスを表す）セマンティックセグメンテーションマップを生成する畳み込みエンコーダデコーダネットワークを訓練する。
• エンコーダの最終層からの潜在ベクトルを制御モジュールの入力として使用し、セマンティックラベルや生のピixelsを直接使用しない。
• クラス頻度の逆数に比例する重みを付ける加重カテゴリカル交差エントロピー損失を用いて、認識モデルを訓練する。
• 制御ポリシーは、潜在ベクトルを状態入力として使用する深層Q学習（DQN）により訓練する。報酬関数は、レーンからの逸脱や衝突に対してペナルティを課す。
• 探索はエプソン・グリーディ戦略により管理され、時間経過とともに探索確率が低下することで、学習と活用のバランスを取る。
• 報酬関数は右ターンでは連続的（+1から−5への滑らかな遷移）であるが、左ターンでは不連続であり、学習の不安定性を引き起こす。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習エージェントは、人間の模倣や専門家の模倣なしに、生のRGB画像から正確なステアリング角度を予測できるか？
• RQ2 学習された潜在的セマンティック表現を用いることで、天候や照明の変化といった環境変動に対するサンプル効率とロバスト性はどのように向上するか？
• RQ3 報酬関数の不連続性が、自律走行タスクにおける深層Q学習の収束性と安定性に与える影響は何か？
• RQ4 認識と制御を分離するモジュラーなアーキテクチャは、エンドツーエンドのビジョン・トゥ・コントロールモデルと比較して、より良い一般化とより簡単な学習を可能にするか？
• RQ5 次元削減により、制御ポリシーの次元と複雑さを低減する観点から、セマンティックセグメンテーションを状態表現として用いることはどれほど効果的か？

主な発見

• モデルは、人間のステアリング角度の提供なしに、報酬関数と生の画像入力のみで、シミュレート環境内をナビゲートし、右ターンを実行することに成功した。
• 潜在表現が視覚的変動を抽象化し、一貫したセマンティックラベルに依存することで、ポリシーはさまざまな天候条件に一般化した。
• 左ターンにおける報酬関数の不連続性（衝突時に+1から−5へのジャンプ）が、Q値推定の不安定性を引き起こし、学習の収束が遅いか発散する原因となった。
• 潜在空間表現の使用により、制御ネットワークへの入力次元が低減され、より効率的な学習と視覚的ノイズに対するロバスト性が向上した。
• 成功した学習にもかかわらず、3つの離散的アクション値しか持たないため、ステアリング制御にぎこちなさが見られた。連続的アクション空間への移行により滑らかさが向上する可能性がある。
• 特にターン行動に関連する状態に偏った探索の結果、車両がターン後に反対車線に進入することが頻発した。