[论文解读] Bootstrapping Robotic Ecological Perception from a Limited Set of Hypotheses Through Interactive Perception

Léni K. Le Goff, Ghanim Mukhtar+2 more|arXiv (Cornell University)|Jan 30, 2019

Visual Attention and Saliency Detection参考文献 48被引用 3

一句话总结

该论文提出了一种交互式感知框架，使机器人能够在不依赖场景结构先验假设的情况下，通过学习识别非结构化环境中的可移动部件，从而实现生态感知的自举。通过在线训练协作混合模型分类器和基于不确定性的探索策略，机器人构建了一个显示潜在可交互区域的相关性图，该方法在仿真环境和PR2机器人上均表现出稳健性能，适用于复杂场景。

ABSTRACT

To solve its task, a robot needs to have the ability to interpret its perceptions. In vision, this interpretation is particularly difficult and relies on the understanding of the structure of the scene, at least to the extent of its task and sensorimotor abilities. A robot with the ability to build and adapt this interpretation process according to its own tasks and capabilities would push away the limits of what robots can achieve in a non controlled environment. A solution is to provide the robot with processes to build such representations that are not specific to an environment or a situation. A lot of works focus on objects segmentation, recognition and manipulation. Defining an object solely on the basis of its visual appearance is challenging given the wide range of possible objects and environments. Therefore, current works make simplifying assumptions about the structure of a scene. Such assumptions reduce the adaptivity of the object extraction process to the environments in which the assumption holds. To limit such assumptions, we introduce an exploration method aimed at identifying moveable elements in a scene without considering the concept of object. By using the interactive perception framework, we aim at bootstrapping the acquisition process of a representation of the environment with a minimum of context specific assumptions. The robotic system builds a perceptual map called relevance map which indicates the moveable parts of the current scene. A classifier is trained online to predict the category of each region (moveable or non-moveable). It is also used to select a region with which to interact, with the goal of minimizing the uncertainty of the classification. A specific classifier is introduced to fit these needs: the collaborative mixture models classifier. The method is tested on a set of scenarios of increasing complexity, using both simulations and a PR2 robot.

研究动机与目标

• 通过最小化对预定义场景假设（如桌面假设）的依赖，解决非结构化环境中机器人感知的挑战。
• 使机器人能够通过物理交互自主学习场景中哪些部分是可交互的（例如可移动的），而非依赖预分割的对象假设。
• 开发一种感知系统，适应机器人的传感器-运动能力与任务上下文，避免对物体形状或布局的人工预设假设。
• 自举一个通用感知图——称为相关性图——以识别可能支持推挤等操作动作的区域。
• 实现在线、增量式的分类器学习，通过交互逐步提升性能，降低不确定性并平衡类别表示。

提出的方法

• 机器人使用推挤原语与环境选定区域进行交互，观察动作前后场景是否发生变化。
• 通过变化检测算法，基于动作前后的视觉观测比较，判断某区域是否可移动。
• 在线使用交互数据训练协作混合模型（CMM）分类器，重点关注处理非线性可分数据并估计分类不确定性。
• 基于不确定性的采样策略选择下一个交互区域，优先选择分类器最不确定的区域，以提高学习效率。
• 分类器采用增量式训练，使系统能够适应新环境而无需从头开始重新训练。
• 从分类器输出计算相关性图，指示图像中每个区域可移动的概率，从而指导后续探索。

实验结果

研究问题

• RQ1 机器人是否能够在不依赖场景特定假设（如桌面或物体原型）的情况下，学习识别场景中的可移动部件？
• RQ2 如何利用交互式感知自举一个反映机器人自身传感器-运动能力与任务目标的感知图？
• RQ3 何种分类器架构能够在真实机器人环境中实现有效的在线学习，具备不确定性估计能力且超参数调优最少？
• RQ4 基于不确定性的探索在多大程度上能够减少复杂视觉场景中实现高分类准确率所需的交互次数？
• RQ5 系统生成的相关性图在支持下游任务（如物体发现或操作规划）方面发挥何种作用？

主要发现

• 协作混合模型（CMM）分类器能够有效处理非线性可分数据，并提供可靠的不确定性估计，从而支持高效的主动学习。
• 基于不确定性的采样策略显著减少了达到高分类准确率所需的交互次数，通过聚焦于模糊区域提升学习效率。
• 该方法在多样化环境中具有泛化能力，涵盖仿真环境和包含可移动小球、砖块及复杂杂乱场景的真实世界场景。
• 相关性图能有效识别可移动区域，且在特征空间复杂度和颜色描述符变化下表现稳健。
• 该方法降低了对预定义场景假设的依赖，使系统能够在无需重新训练或手动重新配置的情况下适应新环境。
• 在PR2机器人上的实验验证了该框架在真实环境中的可行性与鲁棒性，表现出跨多次试验和日益复杂的场景的稳定性能。