[论文解读] A Reduction of Imitation Learning and Structured Prediction to No-Regret Online Learning

Stéphane Ross, Geoffrey J. Gordon+1 more|arXiv (Cornell University)|Nov 2, 2010

Advanced Bandit Algorithms Research被引用 840

一句话总结

该论文提出DAGGER，一种新颖的迭代算法，将模仿学习与结构化预测问题转化为无遗憾在线学习，从而实现对具有强理论保证的平稳确定性策略的训练。通过在当前策略所诱导的状态上迭代收集专家示范，DAGGER确保了误差随时间线性增长，相较于SMILe和SEARN等先前方法，在模仿学习与序列标注任务中均表现出更优的稳定性与样本效率。

ABSTRACT

Sequential prediction problems such as imitation learning, where future observations depend on previous predictions (actions), violate the common i.i.d. assumptions made in statistical learning. This leads to poor performance in theory and often in practice. Some recent approaches provide stronger guarantees in this setting, but remain somewhat unsatisfactory as they train either non-stationary or stochastic policies and require a large number of iterations. In this paper, we propose a new iterative algorithm, which trains a stationary deterministic policy, that can be seen as a no regret algorithm in an online learning setting. We show that any such no regret algorithm, combined with additional reduction assumptions, must find a policy with good performance under the distribution of observations it induces in such sequential settings. We demonstrate that this new approach outperforms previous approaches on two challenging imitation learning problems and a benchmark sequence labeling problem.

研究动机与目标

• 为解决模仿学习中的分布偏移问题，即标准i.i.d.监督学习因策略引起的分布变化而失效。
• 开发一种方法，可在诱导状态分布下对平稳确定性策略进行训练，并提供强理论性能保证。
• 将模仿学习与结构化预测问题转化为在线无遗憾学习，从而可重用标准监督学习算法。
• 相较于SMILe与SEARN等先前迭代方法（使用随机或非平稳策略），提升样本效率与稳定性。
• 在具有挑战性的现实任务中验证该方法，包括机器人控制与手写识别，取得具有竞争力的结果。

提出的方法

• 提出DAGGER，一种迭代算法，基于当前策略诱导的状态收集专家示范，构建不断增长的监督学习数据集。
• 采用无遗憾在线学习框架，每轮迭代通过最小化累积数据集上的遗憾来改进策略。
• 采用基于还原的方法（Beygelzimer et al., 2005），将模仿学习转化为无遗憾学习问题，确保理论性能边界。
• 应用在线到批量技术分析样本复杂度，确保有限数据下的收敛性。
• 使用过去策略与专家数据的加权组合，通过衰减因子（如βi = 0.5^{i-1}）优先考虑近期与相关数据。
• 通过将序列预测视为具有确定性动态的退化模仿学习问题，将该方法扩展至结构化预测。

实验结果

研究问题

• RQ1 能否有效将无遗憾在线学习框架应用于模仿学习，以确保在策略诱导分布下实现线性误差增长？
• RQ2 在分布偏移下，如何对序列决策中的平稳确定性策略进行训练，并提供强理论性能保证？
• RQ3 数据收集策略对迭代模仿学习中策略性能与样本效率有何影响？
• RQ4 与SMILe和SEARN等现有迭代方法相比，DAGGER在稳定性、收敛性与最终性能方面表现如何？
• RQ5 无遗憾学习的还原方法能否扩展至具有序列依赖关系的结构化预测任务？

主要发现

• 在Super Mario Bros.任务中，DAGGER优于监督基线，得分达3030分，而指示函数方法得分为2980分，监督方法得分为2800分。
• 在Super Tux Kart竞速任务中，DAGGER显著优于所有其他方法，包括SMILe与SEARN，且在迭代过程中展现出清晰的收敛趋势。
• 在OCR基准测试中，DAGGER实现85.5%的字符准确率，超过监督基线（83.6%），并优于α=0.1的SEARN与SMILe方法。
• 该方法在任务时域T与分类误差ϵ方面实现了总成本J(π)的线性增长，与无遗憾学习的理论保证一致。
• DAGGER展现出更高的稳定性与样本效率，避免了SMILe中使用的随机混合策略的不稳定性，以及监督学习中的性能停滞问题。
• 采用衰减加权（βi = 0.5^{i-1}）相比均匀加权或基于指示函数的加权，显著提升了数据多样性与性能，尤其在早期迭代中表现更优。