[论文解读] ACtuAL: Actor-Critic Under Adversarial Learning

Anirudh Goyal, Nan Rosemary Ke+5 more|arXiv (Cornell University)|Nov 13, 2017

Reinforcement Learning in Robotics参考文献 30被引用 8

一句话总结

ACtuAL 提出了一种新颖的演员-评论家框架，用基于评论家的时序差分目标替代 GAN 中基于梯度的生成器训练，从而在无需对离散标记进行反向传播的情况下，有效训练生成式 RNN 以处理离散序列。该方法在字符级语言建模基准上实现了最先进水平的似然度，通过提升对数似然度并降低每字符比特数（bit-per-character）得分，超越了教师强制基线模型。

ABSTRACT

Generative Adversarial Networks (GANs) are a powerful framework for deep generative modeling. Posed as a two-player minimax problem, GANs are typically trained end-to-end on real-valued data and can be used to train a generator of high-dimensional and realistic images. However, a major limitation of GANs is that training relies on passing gradients from the discriminator through the generator via back-propagation. This makes it fundamentally difficult to train GANs with discrete data, as generation in this case typically involves a non-differentiable function. These difficulties extend to the reinforcement learning setting when the action space is composed of discrete decisions. We address these issues by reframing the GAN framework so that the generator is no longer trained using gradients through the discriminator, but is instead trained using a learned critic in the actor-critic framework with a Temporal Difference (TD) objective. This is a natural fit for sequence modeling and we use it to achieve improvements on language modeling tasks over the standard Teacher-Forcing methods.

研究动机与目标

• 解决由于不可微采样操作导致在离散数据上训练 GAN 的根本性挑战。
• 克服 RNN 中教师强制方法的局限性，后者在推理过程中因暴露偏差而表现不佳且泛化能力差。
• 通过在演员-评论家框架中用学习到的评论家替代梯度反向传播，实现在离散序列生成中的有效信用分配。
• 通过对抗训练在字符级和词级语言建模任务中提升序列建模性能，且无需通过离散变量的梯度路径。

提出的方法

• 将 GAN 生成器训练重新构架为演员-评论家强化学习问题，其中生成器作为演员，评论家则从判别器估计奖励信号。
• 使用时序差分（TD）目标，训练评论家预测判别器在未来时间步区分真实序列与生成序列的能力。
• 基于评论家的 TD 误差，使用策略梯度更新训练生成器，避免对离散标记的直接反向传播。
• 将加权对数似然目标与对抗性评论家结合，以正则化训练并提升泛化能力。
• 使用独立的判别器网络提供二元监督，而评论家则提供密集且时间一致的奖励信号，以实现信用分配。
• 在所有模型中使用梯度裁剪和 Adam 优化，学习率为 0.0001，训练时采用固定长度且不重叠的序列。

实验结果

研究问题

• RQ1 是否可以在不依赖通过离散变量的梯度反向传播的情况下，有效将对抗训练应用于离散序列生成？
• RQ2 与教师强制方法相比，基于评论家的时序差分目标是否能改善 RNN 中的长期依赖建模？
• RQ3 将演员-评论家框架与 GAN 判别器结合，是否能在字符级语言建模中带来更好的似然度和样本质量？
• RQ4 与标准教师强制和调度采样方法相比，所提出的 ACtuAL 框架在测试似然度和泛化能力方面表现如何？

主要发现

• 在字符级 Penn Treebank 数据集上，ACtuAL 将验证集的每字符比特数（BPC）从教师强制的 1.47 降低至 1.43，测试集从 1.38 降低至 1.34。
• 在更大的字符级 Text8 数据集上，ACtuAL 在验证集上达到 BPC 1.40，测试集达到 1.39，分别优于教师强制基线的 1.42 和 1.41。
• 在中文诗歌数据集上，ACtuAL 将负对数似然度从教师强制的 32.39 降低至验证集的 32.05 和测试集的 31.83，表明似然度有所提升。
• 该方法通过学习能够捕捉长期依赖关系并为序列提供稳定信用分配的评论家，实现了更好的泛化能力。
• 时序差分评论家与加权对数似然目标的结合取得了最佳性能，表明正则化效果显著。