[论文解读] Acquiring Target Stacking Skills by Goal-Parameterized Deep Reinforcement Learning

Wenbin Li, Jeannette Bohg+1 more|arXiv (Cornell University)|Nov 1, 2017

Reinforcement Learning in Robotics参考文献 22被引用 3

一句话总结

本文提出目标参数化的深度强化学习（GDQN），通过将目标状态直接整合到策略网络中，使智能体能够在物理模拟环境中学习积木堆叠技能。与标准DQN相比，该方法在多样化目标结构上的泛化能力显著提升，4块积木任务的成功率从0.00提升至0.17，重叠率在奖励塑形下达到0.79。

ABSTRACT

Understanding physical phenomena is a key component of human intelligence and enables physical interaction with previously unseen environments. In this paper, we study how an artificial agent can autonomously acquire this intuition through interaction with the environment. We created a synthetic block stacking environment with physics simulation in which the agent can learn a policy end-to-end through trial and error. Thereby, we bypass to explicitly model physical knowledge within the policy. We are specifically interested in tasks that require the agent to reach a given goal state that may be different for every new trial. To this end, we propose a deep reinforcement learning framework that learns policies which are parametrized by a goal. We validated the model on a toy example navigating in a grid world with different target positions and in a block stacking task with different target structures of the final tower. In contrast to prior work, our policies show better generalization across different goals.

研究动机与目标

• 使人工智能智能体能够通过试错方式自主学习物理交互技能，而无需显式建模物理规律。
• 解决在操作任务中，针对不同目标状态（如将积木堆叠成不同构型）时策略泛化的问题。
• 开发一种将目标信息直接集成到策略网络中的深度强化学习框架，以提升泛化能力。
• 在网格世界导航任务和具有多样化目标结构的复杂积木堆叠任务上验证该框架的有效性。

提出的方法

• 本文提出一种目标参数化的深度Q网络（GDQN），其输入为当前状态和目标嵌入向量，输出为动作策略。
• 目标以向量形式编码，并与观测状态拼接，以引导策略朝向特定目标构型。
• 框架采用深度强化学习，结合经验回放和目标网络，与DQN类似，但扩展至处理目标条件学习。
• 通过重叠率和距离变换应用奖励塑形，以提升学习效率和最终性能。
• 模型在基于物理动力学的模拟积木堆叠环境中进行端到端训练。
• 训练过程包含ε-greedy探索（带退火）和大小为200K步的回放缓冲区。

实验结果

研究问题

• RQ1 单一深度强化学习策略是否能在积木堆叠任务中泛化到多个不同的目标状态？
• RQ2 与标准DQN相比，将目标信息集成到策略网络中对泛化性能有何影响？
• RQ3 使用重叠率和距离变换进行奖励塑形，在多大程度上提升了策略性能和样本效率？
• RQ4 所提出的基于目标参数化的框架是否能有效泛化到块数增加时更复杂的目结构？

主要发现

• 在5×5网格世界导航任务中，GDQN的成功率为0.97，优于DQN的0.67，表明其在随机起点和目标位置下具有强大的泛化能力。
• 在2块积木堆叠任务中，GDQN的成功率为0.72，重叠率为0.82，显著优于DQN的0.70成功率和0.70重叠率。
• 在4块积木堆叠任务中，DQN完全失败，成功率为0.00，重叠率为0.03，而GDQN成功率达到0.17，重叠率为0.41。
• 在使用距离变换进行奖励塑形后，GDQN在4块积木任务中的成功率达到0.56，重叠率为0.79，相较于未塑形的GDQN有显著提升。
• 随着任务复杂度的增加，DQN与GDQN之间的性能差距进一步扩大，表明GDQN在处理更困难目标时具备更强的泛化能力。
• 结果证实，目标参数化学习使单一策略能够有效应对多样化的目标结构，即使在块数增加时也表现良好。