[论文解读] Active Neural Localization

Devendra Singh Chaplot, Emilio Parisotto+1 more|arXiv (Cornell University)|Jan 24, 2018

Reinforcement Learning in Robotics参考文献 43被引用 35

一句话总结

本文提出主动神经定位器（Active Neural Localizer, ANL），一种完全可微分的神经网络，通过结合信念传播与强化学习训练的策略，实现对智能体的主动定位。该模型利用原始RGB观测和地图，联合学习感知与动作策略，在2D与3D仿真环境中实现精确且高效的定位，包括从随机纹理迷宫到照片级真实场景的泛化能力。

ABSTRACT

Localization is the problem of estimating the location of an autonomous agent from an observation and a map of the environment. Traditional methods of localization, which filter the belief based on the observations, are sub-optimal in the number of steps required, as they do not decide the actions taken by the agent. We propose "Active Neural Localizer", a fully differentiable neural network that learns to localize accurately and efficiently. The proposed model incorporates ideas of traditional filtering-based localization methods, by using a structured belief of the state with multiplicative interactions to propagate belief, and combines it with a policy model to localize accurately while minimizing the number of steps required for localization. Active Neural Localizer is trained end-to-end with reinforcement learning. We use a variety of simulation environments for our experiments which include random 2D mazes, random mazes in the Doom game engine and a photo-realistic environment in the Unreal game engine. The results on the 2D environments show the effectiveness of the learned policy in an idealistic setting while results on the 3D environments demonstrate the model's capability of learning the policy and perceptual model jointly from raw-pixel based RGB observations. We also show that a model trained on random textures in the Doom environment generalizes well to a photo-realistic office space environment in the Unreal engine.

研究动机与目标

• 解决自主智能体在初始位置未知情况下的全局定位问题。
• 克服被动定位方法无法优化智能体动作的局限性。
• 开发一种端到端可训练的模型，联合学习感知与动作策略，实现主动定位。
• 实现在多样化环境间的泛化能力，包括从合成迷宫到照片级真实场景的迁移。
• 证明在复杂3D环境中，仅使用原始像素输入并辅以极少监督信号，仍可实现有效学习。

提出的方法

• 模型采用结构化信念表示，并通过乘法交互机制在状态空间中传播信念，受贝叶斯滤波启发。
• 集成一个感知模型，利用类孪生网络架构从原始RGB图像中估计观测似然，实现图像相似性度量。
• 策略头基于当前信念和地图生成动作，通过强化学习训练以最小化定位步数。
• 整个模型端到端可微分，采用课程学习策略的策略梯度强化学习进行训练。
• 利用可微分信念传播机制更新信念，结合先验状态转移与观测似然。
• 在2D迷宫、Doom中的3D迷宫以及Unreal引擎中的照片级真实场景中评估框架的鲁棒性与泛化能力。

实验结果

研究问题

• RQ1 一个完全可微分的神经网络能否仅使用原始RGB观测与地图，实现对智能体的主动定位？
• RQ2 该模型能否从随机纹理的合成环境泛化到复杂、照片级真实的3D环境？
• RQ3 通过强化学习联合学习感知与策略，是否能实现比被动基线方法更快、更准确的定位？
• RQ4 在动态光照变化条件下，模型表现如何？这是RGB方法已知的挑战。
• RQ5 策略能否在无需微调的情况下泛化到未见过的地图设计与纹理？

主要发现

• 主动神经定位器在准确率与速度上均优于被动基线方法，实现定位的步数减少了一个数量级。
• 模型在未进行微调的情况下，能有效从Doom引擎中的随机纹理迷宫泛化到Unreal引擎中的照片级真实办公室环境。
• 在Unreal环境中，模型表现优于Maze3D，归因于环境中存在独特的地标，凸显了视觉显著性的重要性。
• 在Unreal环境的动态光照变化下，模型表现受限，表明基于RGB的感知相比基于深度的方法仍存在局限。
• 在2D环境中学习到的策略能良好泛化至3D环境，证明了信念与策略架构的鲁棒性。
• 消融实验确认，信念传播机制与策略头对性能均至关重要，完整模型显著优于各类消融变体。