[论文解读] GRIP: Generative Robust Inference and Perception for Semantic Robot Manipulation in Adversarial Environments

Xiaotong Chen, Rui Chen+5 more|arXiv (Cornell University)|Mar 20, 2019

Adversarial Robustness in Machine Learning参考文献 43被引用 5

一句话总结

GRIP 提出了一种两阶段生成-判别框架，用于在对抗性环境下的鲁棒 6D 物体位姿估计，结合基于 CNN 的检测阶段与基于粒子滤波的生成推理阶段，以纠正误报并提升在光照不良和遮挡条件下的鲁棒性。其在 PoseCNN 和 DOPE 等最先进方法之上实现了更优的精度，尤其在低误差阈值下表现更优，从而在复杂条件下实现可靠的机器人抓取操作。

ABSTRACT

Recent advancements have led to a proliferation of machine learning systems used to assist humans in a wide range of tasks. However, we are still far from accurate, reliable, and resource-efficient operations of these systems. For robot perception, convolutional neural networks (CNNs) for object detection and pose estimation are recently coming into widespread use. However, neural networks are known to suffer overfitting during training process and are less robust within unseen conditions, which are especially vulnerable to adversarial scenarios. In this work, we propose Generative Robust Inference and Perception (GRIP) as a two-stage object detection and pose estimation system that aims to combine relative strengths of discriminative CNNs and generative inference methods to achieve robust estimation. Our results show that a second stage of sample-based generative inference is able to recover from false object detection by CNNs, and produce robust estimations in adversarial conditions. We demonstrate the efficacy of GRIP robustness through comparison with state-of-the-art learning-based pose estimators and pick-and-place manipulation in dark and cluttered environments.

研究动机与目标

• 解决基于深度学习的物体检测与位姿估计在光照不良和遮挡等对抗性条件下易受干扰的问题。
• 克服判别性 CNN 模型在未预见环境条件下易过拟合和产生误检的局限性。
• 开发一种结合 CNN 高精度与生成推理强鲁棒性的感知系统，以支持真实世界中的机器人抓取操作。
• 实现在标准方法失效的黑暗与杂乱场景中可靠抓取与放置操作。
• 提供可解释的、基于样本的推理，避免硬性阈值设定，支持不确定性感知的机器人感知。

提出的方法

• 第一阶段使用 PyramidCNN 从 RGB 图像中生成带置信度分数的物体边界框，作为初始假设。
• 第二阶段采用带有静态状态过程的粒子滤波器，在深度图像上执行基于样本的生成推理，以优化位姿估计。
• 粒子基于第一阶段的边界框初始化，从而实现对位姿空间的高效探索。
• 生成推理阶段使用概率采样来优化位姿假设，避免过早做出硬性决策。
• 该方法整合了信念空间规划原理，同时避免了完整贝叶斯推理的计算不可行性。
• 它利用深度传感器提供的丰富 3D 点云数据，提升几何一致性并减少位姿估计中的歧义。

实验结果

研究问题

• RQ1 两阶段生成-判别方法是否能提升在对抗性光照与遮挡条件下的 6D 物体位姿估计鲁棒性？
• RQ2 在不利条件下，GRIP 与 PoseCNN 和 DOPE 等最先进学习型位姿估计算法相比表现如何？
• RQ3 在早期推理中避免硬性阈值设定在多大程度上提升了检测可靠性与位姿精度？
• RQ4 GRIP 是否能实现在标准方法失效的黑暗与杂乱环境中可靠机器人抓取操作？
• RQ5 生成推理阶段在提升机器人感知的可解释性与不确定性处理方面有何作用？

主要发现

• 在 4 个 YCB 物体上，GRIP 在对抗性设置下优于 PoseCNN（带 ICP）与 DOPE，尤其在低误差阈值（≤0.04m）下表现更优，准确率-阈值曲线的 AUC 更高。
• GRIP 在不同光照与遮挡条件下，对对称与非对称物体均表现出更优性能，位姿估计精度持续提升。
• 该方法在黑暗场景中表现出卓越鲁棒性，成功使 Michigan Progress Fetch 机器人抓取了如肉罐头等物体。
• GRIP 在大尺寸、紧凑且几何特征明显的物体（如芥末瓶、饼干盒）上表现最佳，得益于密集且连续的深度观测。
• 在细长或可动部件物体（如剪刀、马克杯）以及近似相同的物体对（如大夹具与超大夹具）上性能下降，凸显了稀疏点云表示的局限性。
• 生成推理阶段实现了无需解释网络权重的可解释感知，支持机器人决策过程的透明性。