[論文レビュー] Using RGB Image as Visual Input for Mapless Robot Navigation

Liulong Ma, Yanjie Liu+1 more|arXiv (Cornell University)|Mar 24, 2019

Advanced Vision and Imaging参考文献 29被引用数 9

ひとこと要約

本論文では、変分オートエンコーダー（VAE）を用いて視覚的特徴抽出を強化学習方策ネットワークから分離することで、RGB画像を視覚入力として使用するマップレスロボットナビゲーションフレームワークを提案する。VAEで学習された潜在ベクトルを低次元状態表現にフィードすることで、サンプル効率が著しく向上し、シミュレーション内での有効な学習と、現実世界への成功した転送が可能となり、リアリティギャップの課題が軽減される。

ABSTRACT

Robot navigation in mapless environment is one of the essential problems and challenges in mobile robots. Deep reinforcement learning is a promising technique to tackle the task of mapless navigation. Since reinforcement learning requires a lot of explorations, it is usually necessary to train the agent in the simulator and then migrate to the real environment. The big reality gap makes RGB image, the most common visual sensor, rarely used. In this paper we present a learning-based mapless motion planner by taking RGB images as visual inputs. Many parameters in end-to-end navigation network taking RGB images as visual input are used to extract visual features. Therefore, we decouple visual features extracted module from the reinforcement learning network to reduce the need of interactions between agent and environment. We use Variational Autoencoder (VAE) to encode the image, and input the obtained latent vector as low-dimensional visual features into the network together with the target and motion information, so that the sampling efficiency of the agent is greatly improved. We built simulation environment as robot navigation environment for algorithm comparison. In the test environment, the proposed method was compared with the end-to-end network, which proved its effectiveness and efficiency. The source code is available: https://github.com/marooncn/navbot.

研究の動機と目的

• RGB画像のみを用いて現実世界の環境でマップレスロボットナビゲーションを実現すること。
• 強化学習におけるサンプル効率の向上により、シミュレーションと現実世界のデプロイの間のリアリティギャップを低減すること。
• 視覚的特徴抽出を方策ネットワークから分離することで、学習効率と一般化性能を向上させること。
• 高次元で不規則な環境においても高いパフォーマンスを維持しつつ、RGB入力を用いたエンドツーエンドの学習を可能とすること。

提案手法

• 変分オートエンコーダー（VAE）を用いて、生のRGB画像を低次元の潜在ベクトルに符号化し、視覚的特徴として使用する。
• 潜在ベクトルにゴール方向と運動情報が加えられ、強化学習エージェントのためのコンパクトな状態表現が構築される。
• 低次元状態空間上で深層強化学習を用いて方策ネットワークを学習することで、サンプル効率が向上する。
• 視覚的特徴学習と方策学習を分離することで、VAEの事前学習が可能となり、収束が速くなる。
• 訓練および評価のためのカスタムシミュレーション環境を構築し、エンドツーエンドネットワークと対比可能な制御された比較が可能になる。
• ドメインシフトを最小限に抑えることで、シミュレーションから現実世界への有効な転送が実現される。

実験結果

リサーチクエスチョン

• RQ1 明示的な地図が存在しない状況で、RGB画像のみを有効に視覚入力として用いてマップレスロボットナビゲーションを実現できるか？
• RQ2 視覚的特徴抽出を方策学習から分離することで、強化学習におけるサンプル効率をどのように向上できるか？
• RQ3 VAEを用いた視覚表現学習が、ロボットナビゲーションにおけるリアリティギャップをどの程度軽減できるか？
• RQ4 訓練効率および最終的なパフォーマンスの観点から、本手法はエンドツーエンドRGBベースのナビゲーションと比べてどのように異なるか？

主な発見

• 本手法はエンドツーエンドRGBベースのナビゲーションと比較して、はるかに高いサンプル効率を達成しており、収束に必要な環境との相互作用回数が削減される。
• VAEで学習された潜在ベクトルを視覚的特徴として使用することで、視覚入力の次元が著しく低減され、学習の安定性と速度が向上する。
• 分離アーキテクチャのおかげで、シミュレーションから現実世界への転送に成功し、リアリティギャップに対して強靭であることが示された。
• シミュレーション環境において、訓練効率および最終的なナビゲーション成功確率の両面で、本手法はエンドツーエンドネットワークを上回った。