[論文レビュー] Active Neural Localization

Devendra Singh Chaplot, Emilio Parisotto+1 more|arXiv (Cornell University)|Jan 24, 2018

Reinforcement Learning in Robotics参考文献 43被引用数 35

ひとこと要約

本稿では、ベイジアンフィルタリングにインspiredされた構造的信念表現と強化学習で訓練された方策を組み合わせることで、エージェントの能動的局所化を学習する、完全に微分可能なニューラルネットワーク、Active Neural Localizer (ANL) を提案する。モデルはRGB観測値と地図を用い、知覚と行動方策を同時に学習し、2次元および3次元のシミュレーション環境において、正確で効率的な局所化を実現する。また、ランダムテクスチャのマップからフォトリアルなシーンへの一般化も可能である。

ABSTRACT

Localization is the problem of estimating the location of an autonomous agent from an observation and a map of the environment. Traditional methods of localization, which filter the belief based on the observations, are sub-optimal in the number of steps required, as they do not decide the actions taken by the agent. We propose "Active Neural Localizer", a fully differentiable neural network that learns to localize accurately and efficiently. The proposed model incorporates ideas of traditional filtering-based localization methods, by using a structured belief of the state with multiplicative interactions to propagate belief, and combines it with a policy model to localize accurately while minimizing the number of steps required for localization. Active Neural Localizer is trained end-to-end with reinforcement learning. We use a variety of simulation environments for our experiments which include random 2D mazes, random mazes in the Doom game engine and a photo-realistic environment in the Unreal game engine. The results on the 2D environments show the effectiveness of the learned policy in an idealistic setting while results on the 3D environments demonstrate the model's capability of learning the policy and perceptual model jointly from raw-pixel based RGB observations. We also show that a model trained on random textures in the Doom environment generalizes well to a photo-realistic office space environment in the Unreal engine.

研究の動機と目的

• 初期位置が不明である自律エージェントにおけるグローバル局所化問題に対処すること。
• エージェントの行動を最適化しない受動的局所化手法の限界を克服すること。
• 知覚と行動方策を同時に学習するエンド・ツー・エンドで微分可能なモデルを構築し、能動的局所化を実現すること。
• 合成マップからフォトリアルなシーンにまで及ぶ多様な環境間での一般化を可能にすること。
• 複雑な3次元環境において、最小限の教師信号で生のピクセルから学習する可能性を実証すること。

提案手法

• モデルは、ベイジアンフィルタリングにインスパイアされた、乗法的相互作用を用いた構造的信念表現を用い、状態空間全体にわたり信念を伝搬する。
• 生のRGB画像から観測の尤度を推定する知覚モデルを統合し、画像類似度を推定するために類縁ネットワークに類似したアーキテクチャを用いる。
• 現在の信念と地図に基づいて行動を生成するポリシー・ヘッドを採用し、局所化に要するステップ数を最小化するように強化学習で訓練する。
• モデル全体がエンド・ツー・エンドで微分可能であり、カリキュラム学習を用いたポリシー勾配強化学習で訓練される。
• 事前状態遷移と観測尤度を組み合わせる微分可能な信念伝搬機構を用いて、信念を更新する。
• 本フレームワークは、2次元マップ、Doomにおける3次元マップ、およびフォトリアルなUnreal環境を対象に評価され、耐性および一般化性能が検証される。

実験結果

リサーチクエスチョン

• RQ1 完全に微分可能なニューラルネットワークは、生のRGB観測値と地図のみを用いて、エージェントの能動的局所化を学習できるか？
• RQ2 モデルは、ランダムテクスチャの合成環境からフォトリアルで複雑な3次元環境へ一般化できるか？
• RQ3 強化学習による知覚とポリシーの共同学習は、受動的ベースラインと比較して、より速く正確な局所化を実現できるか？
• RQ4 動的照明の変化に対して、モデルの性能はどの程度維持されるか？これはRGBベースの手法の知られている課題である。
• RQ5 微調整なしに、未学習の地図設計やテクスチャへもポリシーが一般化できるか？

主な発見

• Active Neural Localizer は、精度と速度の両面で受動的ベースラインを上回り、局所化に桁違いに少ないステップ数で到達する。
• モデルは、Doomエージェントのランダムテクスチャのマップから、Unrealエージェントのフォトリアルなオフィス環境へ、微調整なしに効果的に一般化する。
• Unreal環境では、独自のランドマークが存在するため、Maze3Dと比較して優れた性能を示す。これは視覚的特徴の明確さの重要性を示している。
• Unreal環境における動的照明の変化に対して、モデルは困難を示す。これは、RGBベースの知覚が距離情報に基づく手法に比べて限界を示している。
• 2次元環境で学習したポリシーは3次元環境へも良好に一般化され、信念とポリシーのアーキテクチャの強靭性を示している。
• アブレーションスタディにより、信念伝搬機構とポリシー・ヘッドの両方が性能に不可欠であることが確認され、完全なモデルはアブレーション変種を著しく上回る。