[论文解读] Mid-Level Visual Representations Improve Generalization and Sample Efficiency for Learning Active Tasks.

Alexander F. Sax, Bradley Emi+4 more|arXiv (Cornell University)|Dec 31, 2018

Reinforcement Learning in Robotics被引用 15

一句话总结

本文提出将中层视觉表征（如场景解析和目标检测）作为感知模块，用于提升深度强化学习在主动机器人任务中的样本效率和泛化能力。通过整合这些中间特征，智能体在训练过程中学习更快，泛化能力更强，尤其在未见过的环境中表现更优，前提是为每项任务精心选择特征。

ABSTRACT

One of the ultimate promises of computer is to help robotic agents perform active tasks, like delivering packages or doing household chores. However, the conventional approach to solving vision is to define a set of offline recognition problems (e.g. object detection) and solve those first. This approach faces a challenge from the recent rise of Deep Reinforcement Learning frameworks that learn active tasks from scratch using images as input. This poses a set of fundamental questions: what is the role of computer if everything can be learned from scratch? Could intermediate tasks actually be useful for performing arbitrary downstream active tasks? We show that proper use of mid-level perception confers significant advantages over training from scratch. We implement a perception module as a set of mid-level visual representations and demonstrate that learning active tasks with mid-level features is significantly more sample-efficient than scratch and able to generalize in situations where the from-scratch approach fails. However, we show that realizing these gains requires careful selection of the particular mid-level features for each downstream task. Finally, we put forth a simple and efficient perception module based on the results of our study, which can be adopted as a rather generic perception module for active frameworks.

研究动机与目标

• 探究中层视觉表征是否能提升深度强化学习在主动机器人任务中的样本效率与泛化能力。
• 回答一个根本性问题：当智能体可直接从像素学习时，中间感知模块是否仍具优势。
• 识别对特定下游主动任务最有效的中层特征。
• 基于实证发现，开发一种简单、高效且通用的感知模块，用于主动视觉框架。

提出的方法

• 设计一个感知模块，从原始图像中提取中层视觉表征，如语义分割、目标检测和场景解析。
• 将这些中层特征作为深度强化学习智能体的输入，而非原始像素。
• 在多种主动任务（如导航、物体操作）上训练智能体，使用中层特征作为观测输入。
• 与从零开始在原始像素上训练的基线智能体进行对比，衡量在不同环境中的样本效率与泛化能力。
• 系统性评估不同中层特征组合，以识别每项任务中最有效的特征集合。
• 基于实验中识别出的最有效特征，提出一种轻量化、通用的感知模块。

实验结果

研究问题

• RQ1 中层视觉表征是否能通过深度强化学习提升学习主动任务的样本效率？
• RQ2 与从原始像素训练相比，使用中层特征是否能增强对未见过环境的泛化能力？
• RQ3 哪些具体的中层特征对不同下游主动任务最具优势？
• RQ4 中层特征带来的性能提升是否依赖于精心的特征选择，还是任意中间表征均能带来收益？

主要发现

• 使用中层视觉表征进行学习，其样本效率显著高于从零开始训练。
• 使用中层特征的智能体在未见过的环境中泛化能力更强，而从零开始训练的智能体在这些环境中常会失败。
• 性能增益高度依赖于为特定任务选择合适的中层特征；并非所有特征都能带来同等收益。
• 基于最有效特征开发的简单、通用感知模块已成功实现，并在多个任务中表现出有效性。
• 本研究证明，中间感知可作为端到端学习在主动视觉系统中的强大补充。