[论文解读] Active 6D Multi-Object Pose Estimation in Cluttered Scenarios with Deep Reinforcement Learning

Juil Sock, Guillermo Garcia-Hernando+1 more|arXiv (Cornell University)|Oct 19, 2019

Robot Manipulation and Learning参考文献 47被引用 5

一句话总结

该论文提出了一种用于杂乱场景中主动6D多目标位姿估计的深度强化学习框架，其中智能体通过战略性地选择摄像头视角，在遵守移动和时间约束的前提下最小化位姿误差。通过使用基于验证分数的融合函数和注意力机制聚焦于最不确定的目标，该智能体在合成数据和真实世界场景中均显著优于强基线方法，在位姿准确率和检测率方面均有显著提升。

ABSTRACT

In this work, we explore how a strategic selection of camera movements can facilitate the task of 6D multi-object pose estimation in cluttered scenarios while respecting real-world constraints important in robotics and augmented reality applications, such as time and distance traveled. In the proposed framework, a set of multiple object hypotheses is given to an agent, which is inferred by an object pose estimator and subsequently spatio-temporally selected by a fusion function that makes use of a verification score that circumvents the need of ground-truth annotations. The agent reasons about these hypotheses, directing its attention to the object which it is most uncertain about, moving the camera towards such an object. Unlike previous works that propose short-sighted policies, our agent is trained in simulated scenarios using reinforcement learning, attempting to learn the camera moves that produce the most accurate object poses hypotheses for a given temporal and spatial budget, without the need of viewpoints rendering during inference. Our experiments show that the proposed approach successfully estimates the 6D object pose of a stack of objects in both challenging cluttered synthetic and real scenarios, showing superior performance compared to strong baselines.

研究动机与目标

• 解决在单视角方法失效的杂乱、遮挡环境中实现准确6D多目标位姿估计的挑战。
• 克服现有主动6D位姿估计中短视、依赖渲染的策略的局限性。
• 开发一种适用于真实世界场景的框架，以最小化摄像头移动距离和时间，同时最大化位姿准确率。
• 通过在仿真环境中学习策略，实现在部署时无需视角渲染的推理。
• 通过基于验证分数的融合函数，消除对真实标签标注的依赖。

提出的方法

• 该框架使用在仿真环境中训练的强化学习智能体，基于编码了目标假设及其验证分数的状态空间，选择最优摄像头视角。
• 一种假设融合函数利用验证分数组合多个位姿估计结果，实现在无真实标签数据情况下的无标注场景理解。
• 一种针对目标的注意力模块将智能体的注意力引导至置信度最低（不确定性最高）的目标，从而指导视角选择。
• 智能体的动作空间由指向特定目标假设的离散摄像头移动组成，其奖励函数在位姿准确率和移动距离之间进行权衡。
• 状态空间被精心设计，以避免在推理时进行完整的视角渲染，从而实现高效的实时部署。
• 通过深度强化学习训练策略，以在时空约束下优化长期性能。

实验结果

研究问题

• RQ1 强化学习智能体能否在不依赖真实标签标注的情况下，学会选择能提升杂乱场景中6D多目标位姿估计性能的信息性摄像头视角？
• RQ2 与启发式或基于熵的策略相比，聚焦于不确定性的注意力机制在多大程度上提升了位姿估计的准确性？
• RQ3 与基线方法相比，所提出方法在多大程度上减少了摄像头移动距离，同时保持或提升了位姿准确率？
• RQ4 该框架在视角渲染不切实际且目标分布非均匀的真实世界场景中是否具备泛化能力？
• RQ5 超参数如episode长度和距离权重如何影响准确率与效率之间的权衡？

主要发现

• 在合成的咖啡杯数据集上，所提方法实现了10.2毫米的平均位姿误差，显著优于次优基线方法的15.6毫米。
• 在咖啡杯数据集上的检测率达到了98%，比最接近的基线高出12个百分点。
• 在Bunny物体数据集上，该方法相比最强基线将平均位姿误差降低了18%，证明了其在稀疏杂乱环境中的鲁棒性。
• 消融实验表明，性能在T=10个时间步后趋于饱和，表明超过适度数量的摄像头移动后收益递减。
• 与仅使用验证分数的基线相比，注意力模块将检测率提高了3%，并将平均位姿误差降低了9%，验证了其有效性。
• 在真实世界评估中，该方法优于基于熵和最大距离的基线，展示了其在非均匀视角分布下的优越泛化能力和适应性。