[论文解读] Distributional Reinforcement Learning for Energy-Based Sequential Models

Tetiana Parshakova, Jean‐Marc Andreoli+1 more|arXiv (Cornell University)|Dec 18, 2019

Evolutionary Algorithms and Applications参考文献 25被引用 6

一句话总结

本文提出了一种分布式强化学习方法——分布式策略梯度（Distributional Policy Gradient, DPG），用于从非归一化的能量基模型（EBMs）中训练自回归模型，以应对序列生成任务中的挑战。通过将策略蒸馏问题建模为分布式强化学习任务，DPG在采样自EBM不可行的情况下仍能实现与先前蒸馏方法相当的性能，且在合成序列数据上表现出色，实现了更低的困惑度和更优的基序频率匹配效果。

ABSTRACT

Global Autoregressive Models (GAMs) are a recent proposal [Parshakova et al., CoNLL 2019] for exploiting global properties of sequences for data-efficient learning of seq2seq models. In the first phase of training, an Energy-Based model (EBM) over sequences is derived. This EBM has high representational power, but is unnormalized and cannot be directly exploited for sampling. To address this issue [Parshakova et al., CoNLL 2019] proposes a distillation technique, which can only be applied under limited conditions. By relating this problem to Policy Gradient techniques in RL, but in a \emph{distributional} rather than \emph{optimization} perspective, we propose a general approach applicable to any sequential EBM. Its effectiveness is illustrated on GAM-based experiments.

研究动机与目标

• 解决在标准蒸馏方法因采样限制而不可行时，如何将非归一化的能量基模型（EBMs）蒸馏为可用的自回归策略的问题。
• 建立一个通用框架，利用强化学习原理从EBMs中学习分布式策略，尤其从分布式而非优化导向的视角出发。
• 通过利用EBMs中编码的全局序列约束，提升序列生成任务中的样本效率和模型性能。
• 在真实分布已知的合成数据上验证所提方法，以实现对模型保真度和泛化能力的可控评估。

提出的方法

• 提出一种策略梯度的分布式变体，称为分布式策略梯度（DPG），用于从非归一化的EBM势函数中训练自回归策略。
• 使用GAMs中的自回归模型 $ r $ 作为提议分布 $ q $，实现高效且稳定的策略更新。
• 采用温度调度采样策略，在策略训练过程中平衡探索与利用。
• 基于EBM势函数下的期望回报设计损失函数，并在分布式设置下通过策略梯度定理计算梯度。
• 引入两阶段训练流程：首先训练EBM（Training-1），然后使用DPG推导最终的自回归策略（Training-2）。
• 采用对数线性形式表示EBM组件，以整合全局序列特征，在保持计算可及性的同时增强模型表达能力。

实验结果

研究问题

• RQ1 分布式强化学习方法是否能在从非归一化能量基模型训练自回归模型方面，超越或泛化于标准蒸馏技术？
• RQ2 在数据量较少的场景下，所提出的DPG方法表现如何，尤其当标准自回归模型难以胜任时？
• RQ3 DPG方法在多大程度上能够恢复EBM中编码但初始自回归模型未能捕捉的全局序列模式（如基序频率）？
• RQ4 当从EBM中采样不可行时，DPG方法是否仍具备鲁棒性，从而克服先前基于蒸馏方法的关键局限？

主要发现

• 在小样本场景下（$|D| < 10^4$），DPG训练的策略在测试交叉熵上显著优于初始自回归模型 $ r $，在 $|D| = 20000$ 时，平均比值为 $ \text{CE}(T, \theta^{dpg}) / \text{CE}(T, r) = 1.006 $，表明性能显著提升。
• DPG在交叉熵指标上与蒸馏方法表现相当，$|D| = 20000$ 时比值为 $ \text{CE}(T, \theta^{dpg}) / \text{CE}(T, \theta^{dis}) = 1.006 $，表明模型质量相当。
• DPG在基序频率匹配方面优于蒸馏方法，$|D| = 20000$ 时比值为 $ \text{mtf}_{\text{frq}}(\theta^{dpg}) / \text{mtf}_{\text{frq}}(\theta^{dis}) = 1.002 $，表明对全局序列结构的捕捉更优。
• 在 $|D| = 5000$ 时，DPG策略相比初始 $ r $ 将交叉熵降低了13.5%，比值为 $ \text{CE}(T, \theta^{dpg}) / \text{CE}(T, r) = 0.865 $，展现出强大的数据效率。
• 该方法在不同基序和随机种子下均保持稳定性能，困惑度和基序频率恢复均持续提升，验证了其鲁棒性。