[论文解读] Chain of Thought Imitation with Procedure Cloning

Mengjiao Yang, Dale Schuurmans+2 more|arXiv (Cornell University)|May 22, 2022

Reinforcement Learning in Robotics被引用 4

一句话总结

本文提出程序克隆（PC），一种通过模仿专家生成动作时所用的中间推理步骤（例如搜索路径、规划序列）来扩展行为克隆的方法，而非仅依赖状态-动作对。通过使用基于Transformer的架构将这些程序建模为自回归序列，PC在导航、机器人操作和游戏AI等涉及专家规划的任务中，相较于标准行为克隆，显著提升了在未见过环境中的泛化能力。

ABSTRACT

Imitation learning aims to extract high-performance policies from logged demonstrations of expert behavior. It is common to frame imitation learning as a supervised learning problem in which one fits a function approximator to the input-output mapping exhibited by the logged demonstrations (input observations to output actions). While the framing of imitation learning as a supervised input-output learning problem allows for applicability in a wide variety of settings, it is also an overly simplistic view of the problem in situations where the expert demonstrations provide much richer insight into expert behavior. For example, applications such as path navigation, robot manipulation, and strategy games acquire expert demonstrations via planning, search, or some other multi-step algorithm, revealing not just the output action to be imitated but also the procedure for how to determine this action. While these intermediate computations may use tools not available to the agent during inference (e.g., environment simulators), they are nevertheless informative as a way to explain an expert's mapping of state to actions. To properly leverage expert procedure information without relying on the privileged tools the expert may have used to perform the procedure, we propose procedure cloning, which applies supervised sequence prediction to imitate the series of expert computations. This way, procedure cloning learns not only what to do (i.e., the output action), but how and why to do it (i.e., the procedure). Through empirical analysis on navigation, simulated robotic manipulation, and game-playing environments, we show that imitating the intermediate computations of an expert's behavior enables procedure cloning to learn policies exhibiting significant generalization to unseen environment configurations, including those configurations for which running the expert's procedure directly is infeasible.

研究动机与目标

• 解决传统模仿学习的局限性，即仅使用状态-动作对而忽略专家的中间推理过程。
• 探究利用专家计算的完整序列（如搜索路径或规划步骤）是否能提升策略泛化能力，超越行为克隆。
• 开发一种方法，使智能体不仅能学习该做什么，还能学习如何以及为何去做，通过模仿专家的程序化推理。
• 实现在推理阶段专家特权工具（如模拟器）不可用的未见过环境中的泛化能力。
• 证明对专家程序进行序列建模可提升复杂决策任务中的鲁棒性和性能。

提出的方法

• 程序克隆将专家的中间计算建模为观测与动作的序列，将其视为监督序列预测问题。
• 采用类似Transformer的自回归架构，从输入状态逐步预测程序输出序列（如MCTS树节点、BFS路径）。
• 通过最大化程序观测与专家动作联合分布的似然性进行训练，实现推理过程的端到端学习。
• 推理时，策略自回归地生成中间程序结果，再输出最终动作，无需依赖模拟器等特权工具。
• 对于MinAtar等任务，将最优未来轨迹以反向方式（从目标到起点）编码为程序观测，以训练模型反向预测动作。
• 该方法支持部分监督，允许使用不完整或稀疏的计算状态（如MCTS叶节点）作为训练信号。

实验结果

研究问题

• RQ1 模仿专家策略的中间推理步骤是否能提升模仿学习在行为克隆之外的泛化能力？
• RQ2 将专家程序建模为自回归序列在未见过环境中的性能提升程度如何？
• RQ3 在环境变化（如新迷宫布局或游戏难度）下，程序克隆与行为克隆相比在鲁棒性方面表现如何？
• RQ4 在推理时专家规划工具（如模拟器）不可用的场景中，程序克隆是否仍能泛化？
• RQ5 使用结构化、序列化监督（如搜索路径、MCTS展开）对策略性能和泛化能力有何影响？

主要发现

• 在MinAtar游戏中，程序克隆在平均回合奖励上显著高于行为克隆，尤其在具有粘滞动作的随机条件下表现更优。
• 在游戏难度逐步提升的设置中，PC在全部五个MinAtar游戏中均优于BC，展现出对更复杂配置的优越泛化能力。
• 在AntMaze导航任务中，PC策略能有效泛化到训练期间未见过的新迷宫布局，即使专家在规划时使用了模拟器。
• 该方法可泛化至无法运行专家原始规划过程（如MCTS）的环境，原因在于缺乏对模拟器的访问。
• 实证结果表明，即使专家的程序依赖特权工具，PC对专家程序的自回归建模仍能带来优于BC的泛化效果。
• PC的成功表明，对专家推理步骤进行序列建模可作为提升复杂、结构化决策任务中模仿学习性能的可扩展且有效的方法。