[论文解读] An Actor-Critic Algorithm for Structured Prediction

Dzmitry Bahdanau, Philémon Brakel+6 more|arXiv (Cornell University)|Jul 24, 2016

Multimodal Machine Learning Applications参考文献 27被引用 3

一句话总结

本文提出了一种用于训练神经序列生成器的演员-评论家框架，通过将评论家条件化于真实序列，减少了训练与推理之间的分布偏移，从而实现了对BLEU等任务特定指标的直接优化。该方法通过基于价值的奖励设计，使训练与推理对齐，从而在机器翻译和合成序列任务等序列生成任务中提升了性能。

ABSTRACT

We present an approach to training neural networks to generate sequences using actor-critic methods from reinforcement learning (RL). Current log-likelihood training methods are limited by the discrepancy between their training and testing modes, as models must generate tokens conditioned on their previous guesses rather than the ground-truth tokens. We address this problem by introducing a extit{critic} network that is trained to predict the value of an output token, given the policy of an extit{actor} network. This results in a training procedure that is much closer to the test phase, and allows us to directly optimize for a task-specific score such as BLEU. Crucially, since we leverage these techniques in the supervised learning setting rather than the traditional RL setting, we condition the critic network on the ground-truth output. We show that our method leads to improved performance on both a synthetic task, and for German-English machine translation. Our analysis paves the way for such methods to be applied in natural language generation tasks, such as machine translation, caption generation, and dialogue modelling.

研究动机与目标

• 解决序列生成中训练与推理之间的差异问题，即模型自回归地生成标记，但通过真实标签监督进行训练。
• 减少序列模型在训练（教师强制）与推理（自回归生成）之间的分布偏移。
• 通过在训练过程中引入基于价值的奖励，实现对BLEU等任务特定指标的直接优化。
• 通过将评论家条件化于真实输出，将演员-评论家强化学习技术适应到监督学习设置中。
• 通过改进训练动态，提升序列生成任务（如机器翻译、图像字幕和对话建模）的性能。

提出的方法

• 该方法引入了一个评论家网络，基于当前策略（演员）和真实序列来估计每个输出标记的值。
• 评论家通过在真实序列上使用监督学习进行训练，使其在训练期间能够提供准确的值估计。
• 演员通过结合评论家值预测的策略梯度进行更新，从而实现更高效且任务特定的优化。
• 训练过程利用评论家的值估计来塑造策略梯度，降低方差并提升与测试时行为的一致性。
• 该框架在监督学习设置下运行，通过将评论家条件化于真实序列，避免了传统强化学习中的样本效率低下问题。
• 该方法通过使用评论家提供密集且任务特定的奖励，实现了对序列级指标（如BLEU）的直接优化。

实验结果

研究问题

• RQ1 演员-评论家方法能否减少序列生成模型中的训练-推理分布偏移？
• RQ2 基于真实序列条件化的评论家网络能否提升序列生成中的训练稳定性和性能？
• RQ3 在训练目标中引入BLEU等任务特定指标，能否提升序列生成任务的泛化能力？
• RQ4 与标准的对数似然训练相比，该方法在最终模型性能上表现如何？
• RQ5 该方法能否有效应用于机器翻译和图像字幕生成等真实世界NLP任务？

主要发现

• 所提出的演员-评论家方法在合成序列生成任务上的表现优于标准的对数似然训练。
• 该方法在德语-英语机器翻译任务中实现了更高的BLEU分数，表明其对任务特定指标的优化能力得到提升。
• 通过将评论家条件化于真实序列，该方法有效减少了训练与推理之间的分布偏移。
• 评论家网络提供了准确的值估计，引导演员生成更优的序列级预测。
• 该框架实现了对序列级指标的直接优化，无需依赖自回归奖励建模或高样本量的强化学习。
• 该方法可泛化至多种序列生成任务，包括机器翻译、图像字幕生成和对话建模。