[论文解读] Learning to Search via Retrospective Imitation

Jialin Song, Ravi Lanka+4 more|arXiv (Cornell University)|Apr 3, 2018

Artificial Intelligence in Games参考文献 29被引用 17

一句话总结

本文提出回溯式模仿学习，一种无需强化学习的策略改进方法，通过在组合搜索空间中回溯后对自生成的搜索轨迹进行回溯性优化，实现性能提升。该方法在无需重复专家查询的情况下，优于模仿学习和Gurobi等商业求解器，且在更大规模问题实例上展现出更强的泛化能力。

ABSTRACT

We study the problem of learning a good search policy for combinatorial search spaces. We propose retrospective imitation learning, which, after initial training by an expert, improves itself by learning from extit{retrospective inspections} of its own roll-outs. That is, when the policy eventually reaches a feasible solution in a combinatorial search tree after making mistakes and backtracks, it retrospectively constructs an improved search trace to the solution by removing backtracks, which is then used to further train the policy. A key feature of our approach is that it can iteratively scale up, or transfer, to larger problem sizes than those solved by the initial expert demonstrations, thus dramatically expanding its applicability beyond that of conventional imitation learning. We showcase the effectiveness of our approach on a range of tasks, including synthetic maze solving and combinatorial problems expressed as integer programs.

研究动机与目标

• 解决在奖励信号稀疏且专家示范成本高昂的组合搜索空间中学习高效搜索策略的挑战。
• 开发一种仅利用自生成轨迹和环境反馈改进搜索策略的方法，避免重复依赖专家查询。
• 实现所学策略在原始专家示范之外更大规模问题实例上的可扩展性。
• 在特定条件下为回溯式模仿学习优于标准模仿学习提供理论依据。
• 在A*搜索、整数规划的分支定界法以及最小点覆盖问题上，通过实证验证该方法，证明其性能提升与泛化能力。

提出的方法

• 该方法使用回溯性oracle分析自生成轨迹，提取到达解的最短可行路径，移除回溯和错误决策。
• 采用DAgger算法的变体，通过迭代方式利用这些回溯构建的最优轨迹对策略进行优化。
• 将搜索过程视为序列决策问题，策略通过在优化轨迹上进行模仿学习进行训练。
• 通过从智能体自身轨迹生成合成专家示范，实现迁移学习，使训练可扩展至远大于原始示范规模的问题实例。
• 引入选择性采样策略（'仅选择'），以控制搜索开销，并与商业求解器实现公平比较。
• 理论分析表明，在特定假设下，回溯式模仿学习的策略误差率低于标准模仿学习。

实验结果

研究问题

• RQ1 能否仅使用自身轨迹和环境反馈改进搜索策略，而无需重复专家查询？
• RQ2 回溯式模仿学习能否泛化至原始专家示范中未包含的更大规模问题实例？
• RQ3 回溯式模仿学习是否能实现低于标准模仿学习的策略误差率并实现更快收敛？
• RQ4 在大规模整数规划问题上，回溯式模仿学习与Gurobi、SCIP等现成求解器相比表现如何？
• RQ5 在何种条件下，回溯式模仿学习可被理论证明优于传统模仿学习？

主要发现

• 在迷宫任务中，回溯式模仿学习在超过12个路标点的测试实例中解决了60%的问题，而SMILe在超过13个路标点的75%实例中失败，展现出强大的外推能力。
• 在14个路标点（560个二值变量）的风险感知路径规划任务中，回溯式DAgger的最优性差距比Gurobi低50%。
• 在最小点覆盖问题中，回溯式模仿学习始终优于传统模仿学习和商业求解器，在最大图规模下性能差距达40%。
• 该方法在所有问题规模下探索的节点数最少，表明收敛更快且搜索更高效。
• 理论分析证实，回溯式模仿学习的误差率低于标准模仿学习，且与更短的搜索时间相关。
• 实证结果验证了理论结论：更低的误差率可减少搜索开销，迷宫实验中的最小节点探索量即为此提供了证据。