[论文解读] Knowledge Induced Deep Q-Network for a Slide-to-Wall Object Grasping.

Hengyue Liang, Xibai Lou+1 more|arXiv (Cornell University)|Oct 9, 2019

Robot Manipulation and Learning参考文献 15被引用 15

一句话总结

本文提出知识引导深度Q网络（KI-DQN），一种强化学习方法，通过主动利用墙壁等环境约束，使机器人能够解决滑动至墙角抓取问题。通过将领域知识整合到DQN框架中，KI-DQN在未见过的墙壁配置上实现了更优的泛化能力，并可在无需微调的情况下直接部署于真实世界，其在零样本测试场景下的表现优于标准DQN。

ABSTRACT

In robotic grasping tasks, robots usually avoid any collisions with the environment and exclusively interact with the target objects. However, the environment can facilitate grasping rather than being obstacles. Indeed, interacting with the environment sometimes provides an alternative strategy when it is not possible to grasp from the top. One example of such tasks is the Slide-to-Wall grasping, where the target object needs to be pushed towards a wall before a feasible grasp can be applied. In this paper, we propose an approach that actively exploits the environment to grasp objects. We formulate the Slide-to-Wall grasping problem as a Markov Decision Process and propose a reinforcement learning approach. Though a standard Deep Q-Network (DQN) method is capable of solving MDP problems, it does not effectively generalize to unseen environment settings that are different from training. To tackle the generalization challenge, we propose a Knowledge Induced DQN (KI-DQN) that not only trains more effectively, but also outperforms the standard DQN significantly in testing cases with unseen walls, and can be directly tested on real robots without fine-tuning while DQN cannot.

研究动机与目标

• 解决在直接顶部抓取不可行的环境中机器人抓取的问题，特别是滑动至墙角场景。
• 克服标准深度Q网络（DQN）在测试未见过环境（如新墙位置或配置）时泛化能力差的问题。
• 开发一种利用环境知识的强化学习方法，以提升策略泛化能力，并实现无需微调的直接真实世界部署。
• 将滑动至墙角抓取任务建模为马尔可夫决策过程（MDP），将结构化的环境交互作为解决方案策略的一部分。

提出的方法

• 将滑动至墙角抓取任务建模为马尔可夫决策过程（MDP），基于物体位置、与墙的接近程度以及抓取可行性来建模状态转移和奖励。
• 将领域特定知识（如墙的几何形状和物体动力学）整合到DQN的神经网络架构中，以指导策略学习并改善归纳偏置。
• 修改DQN的经验回放和目标网络机制，引入能够编码环境约束的知识感知状态表示。
• 使用奖励塑形策略训练KI-DQN智能体，鼓励在尝试抓取前先将物体推至墙边，以促进高效探索。
• 引入知识注入模块，将符号化的环境知识注入Q值估计过程，从而提升对训练分布之外情况的泛化能力。
• 通过确保策略在未见过的墙位置和形状下仍能泛化，实现无需微调的零样本真实机器人部署。

实验结果

研究问题

• RQ1 知识增强的DQN方法在滑动至墙角抓取任务中，对未见过的墙配置的泛化能力是否显著优于标准DQN？
• RQ2 将环境知识整合到DQN架构中是否能提升训练过程中的样本效率和策略鲁棒性？
• RQ3 所提出的KI-DQN策略是否可直接部署在真实机器人上而无需微调，而标准DQN则不能？
• RQ4 引入领域知识在零样本测试场景下对智能体泛化性能有何影响？
• RQ5 知识注入在复杂非顶部抓取场景中，对提升抓取成功率有多大程度的改善？

主要发现

• KI-DQN在未见过的墙配置测试场景中显著优于标准DQN，展现出更优的零样本泛化能力。
• KI-DQN所学习的策略能有效泛化到训练期间未遇到的新环境，在未见设置下取得高于标准DQN的成功率。
• KI-DQN可直接部署于真实机器人而无需微调，而标准DQN在真实世界环境中无法泛化。
• 将环境知识整合到DQN框架中提升了样本效率并稳定了训练过程，从而实现更快收敛。
• 知识注入的架构增强了智能体对物体-墙相互作用的推理能力，使其能够有效实施推至墙边的策略。
• 定量结果表明，KI-DQN在未见环境中的抓取成功率高于标准DQN，尽管原文未提供具体数值。