[论文解读] Learning Beam Search Policies via Imitation Learning

Renato Negrinho, Matthew R. Gormley+1 more|arXiv (Cornell University)|Nov 1, 2018

Advanced Bandit Algorithms Research被引用 6

一句话总结

本文提出了一种新颖的模仿学习框架，用于端到端训练束搜索策略，将束作为模型的内在组成部分，而非事后的解码机制。通过使用可微分的代理损失函数，并结合带有最优反馈的DAgger式数据收集方法，该方法首次实现了束感知学习的无遗憾保证，提升了泛化能力，并增强了训练与推理之间的一致性。

ABSTRACT

Beam search is widely used for approximate decoding in structured prediction problems. Models often use a beam at test time but ignore its existence at train time, and therefore do not explicitly learn how to use the beam. We develop an unifying meta-algorithm for learning beam search policies using imitation learning. In our setting, the beam is part of the model, and not just an artifact of approximate decoding. Our meta-algorithm captures existing learning algorithms and suggests new ones. It also lets us show novel no-regret guarantees for learning beam search policies.

研究动机与目标

• 解决结构化预测任务中训练（似然最大化）与推理（束搜索）之间的不匹配问题。
• 克服现有束感知算法的局限性，这些算法在训练期间未能让模型暴露于自身错误之中。
• 设计一种统一的元算法，利用模仿学习来学习束搜索策略，并提供理论保证。
• 为束搜索策略学习提供首个无遗憾的遗憾边界，扩展了以往仅提供感知机式保证的工作。
• 即使最优假设已不在束中，也能通过延续策略有效利用最优反馈进行训练。

提出的方法

• 在‘学习搜索’框架内，将束搜索策略学习建模为结构化预测问题，其中策略遍历束搜索空间。
• 定义一个评分函数，用于对束的邻居进行排序，选择前k个形成下一束，并通过模仿学习来学习该函数。
• 设计可微分的代理损失函数，包括加权成对损失的变体和现有的束感知损失，以优化评分函数。
• 采用类似DAgger的数据收集策略：使用当前策略进行滚动，查询最优反馈以获取束邻居的成本，并在最优路径离开束后仍收集监督信号。
• 引入策略混合，并使用在线无遗憾学习算法（如Adam）基于累积损失更新参数。
• 通过估计滚动过程中停止或重置的概率，来应对数据收集中的分布偏移，从而在非理想数据收集策略下实现遗憾边界。

实验结果

研究问题

• RQ1 我们能否将现有束感知学习算法统一在一个元算法下，以捕捉其设计选择？
• RQ2 我们能否为束搜索策略学习提供无遗憾的理论保证，超越感知机式的结果？
• RQ3 当最优假设在滚动过程中离开束时，如何有效收集训练数据？
• RQ4 哪些代理损失函数能带来更好的泛化能力以及训练与束搜索推理之间的一致性？
• RQ5 在数据收集过程中使用停止或重置策略时，能否保持理论性能保证？

主要发现

• 所提出的框架首次为束搜索策略学习提供了无遗憾保证，且在高概率下具有有限样本的遗憾边界。
• 理论分析表明，遗憾边界按 $ u\sqrt{2\log(1/\delta)/m} $ 的形式缩放，其中 $ u $ 为有界损失，$ m $ 为迭代次数。
• 通过特定的损失函数和数据收集策略选择，该框架可恢复现有的束感知算法（如早期更新和LaSO）作为特例。
• 对于停止和重置的数据收集策略，遗憾边界包含额外项 $ u(1 - \frac{1}{m}\sum_{t=1}^{m}\hat{\alpha}(\theta_t)) $，当停止/重置概率降低时，该项趋于零。
• 通过在束邻居上使用最优反馈，即使最优假设已离开束，该方法仍能有效训练，从而增强了对模型错误的鲁棒性。
• 实证验证表明，该方法在高束搜索敏感性的设置下，泛化能力优于标准的似然训练方法。