[论文解读] Efficient Touch Based Localization through Submodularity

Shervin Javdani, Matthew Klingensmith+3 more|arXiv (Cornell University)|Aug 30, 2012

Reinforcement Learning in Robotics参考文献 28被引用 3

一句话总结

本文提出了一种新颖且高效的方法，利用自适应子模性指导在线动作选择，实现基于触觉的机器人定位。通过设计具有可证明自适应子模性的度量——假设剪枝（HP）与加权假设剪枝（WHP），该方法在采用懒惰贪心算法实现显著计算加速的同时，确保了近似最优性能，实验中仅通过两次动作即实现了实时机器人定位。

ABSTRACT

Many robotic systems deal with uncertainty by performing a sequence of information gathering actions. In this work, we focus on the problem of efficiently constructing such a sequence by drawing an explicit connection to submodularity. Ideally, we would like a method that finds the optimal sequence of actions, taking the minimum amount of time while providing sufficient information. Finding this sequence, however, is generally intractable. As a result, many well-established methods select actions greedily. Surprisingly, this often performs well even with only one step lookahead. Our work first explains this high performance -- we note that a commonly used metric, reduction of Shannon entropy, is submodular under certain assumptions, rendering the greedy solution comparable to the optimal plan in the offline setting. Recently developed notions of adaptive submodularity enable guarantees for a greedy algorithm in the online setting. We develop new methods within this framework, enabling us to provide guarantees compared to the optimal online policy, as well as exploit additional computational speedups. We demonstrate the effectiveness of these methods in simulation and on a robot.

研究动机与目标

• 解决在不确定性条件下高效选择信息采集触觉动作的挑战。
• 弥合子模优化理论保证与机器人领域在线动作选择实践之间的差距。
• 开发计算高效、自适应的度量方法，其性能优于标准信息增益度量。
• 通过仿真和真实机器人实验（门把手抓取任务）验证方法在实际场景中的适用性。

提出的方法

• 提出假设剪枝（HP）与加权假设剪枝（WHP）作为新的不确定性减少度量，其设计具有自适应子模性。
• 利用自适应子模性理论，保证在在线、依赖观测的设置下，贪心动作选择具有近似最优性能。
• 采用懒惰贪心算法，通过避免在每一步骤中重新评估所有动作，实现计算加速。
• 将信念表示为粒子集，并利用力矩-扭矩反馈进行接触感知，以在每次动作后更新信念。
• 将该方法集成到搭载Barrett机械臂与机械手的真实机器人系统中，采用任务空间控制实现受保护的运动。
• 在仿真和真实世界实验中，将性能与信息增益（IG）、随机选择以及人工设计轨迹进行对比。

实验结果

研究问题

• RQ1 能否利用自适应子模性设计出可证明近似最优、高效的在线触觉定位动作选择策略？
• RQ2 HP与WHP在不确定性减少与计算效率方面与信息增益相比表现如何？
• RQ3 所提方法是否能在少于随机或人工设计策略动作数的情况下实现成功定位？
• RQ4 懒惰贪心算法带来的计算加速在多大程度上实现了物理机器人上的实时部署？

主要发现

• 三种度量方法——IG、HP与WHP——均显著降低了不确定性，其中HP与WHP在性能上与IG相当，但计算速度显著更快。
• 尽管HP与WHP并未直接优化熵减少，但其在不确定性减少方面与IG效果相当。
• 使用HP与WHP进行动作选择的平均耗时约为IG的1/5.6（8.41秒 vs. 47.17秒/动作），实现了实时规划。
• 在真实机器人上，所有方法均仅通过两次不确定性减少动作即成功完成门把手定位与抓取，而无触觉基线方法完全失败。
• 机器人仅通过两次动作即成功抓取门把手，使用HP或WHP，证明了该方法在实际应用中的高效性与鲁棒性。
• 懒惰贪心算法使动作选择时间与运动规划和执行时间相当，从而实现了在线自适应选择的实时可行性。