[论文解读] Energy-Based Sequence GANs for Recommendation and Their Connection to Imitation Learning

Jaeyoon Yoo, Heonseok Ha+6 more|arXiv (Cornell University)|Jun 28, 2017

Generative Adversarial Networks and Image Synthesis参考文献 28被引用 8

一句话总结

该论文提出了一种基于能量的序列生成对抗网络（EB-SeqGANs），通过将基于能量的生成对抗网络（EBGANs）与序列建模相结合，用于生成用户偏好的物品序列。该方法建立了EB-SeqGANs与最大熵模仿学习之间的理论联系，实现了端到端训练，相较于行为克隆方法，有效减少了级联误差，并提升了推荐序列的质量。

ABSTRACT

Recommender systems aim to find an accurate and efficient mapping from historic data of user-preferred items to a new item that is to be liked by a user. Towards this goal, energy-based sequence generative adversarial nets (EB-SeqGANs) are adopted for recommendation by learning a generative model for the time series of user-preferred items. By recasting the energy function as the feature function, the proposed EB-SeqGANs is interpreted as an instance of maximum-entropy imitation learning.

研究动机与目标

• 为解决推荐系统中生成连贯、用户特定的物品序列的挑战。
• 减少行为克隆方法中常见的级联误差，此类方法独立地对单个推荐进行训练。
• 开发一种生成模型，利用序列数据学习用户偏好的完整轨迹。
• 建立基于能量的生成对抗网络与最大熵模仿学习之间的理论联系，以提升训练稳定性和可解释性。

提出的方法

• 将基于能量的生成对抗网络（EBGANs）与序列生成对抗网络（SeqGANs）结合，以建模用户的序列偏好。
• 使用生成器网络基于用户的历史物品序列生成下一个物品的预测。
• 使用判别器区分真实用户偏好序列与生成的序列。
• 将能量函数重新表述为特征函数，使其在最大熵模仿学习框架中具有可解释性。
• 采用策略梯度方法优化生成器，通过生成器的采样过程进行反向传播。
• 将模仿学习中的采样分布视为优化变量，从而提升训练稳定性。

实验结果

研究问题

• RQ1 基于能量的生成对抗网络能否被有效适配以建模推荐系统中的用户序列偏好？
• RQ2 所提出的EB-SeqGAN框架与最大熵模仿学习之间有何关系？
• RQ3 与行为克隆方法相比，该方法是否能减少序列推荐中的级联误差？
• RQ4 EB-SeqGANs与模仿学习之间的理论联系是否能带来更稳定和准确的训练？
• RQ5 EB-SeqGAN相比现有的基于深度学习的推荐模型，在性能上有哪些提升？

主要发现

• 当将能量函数解释为特征函数时，EB-SeqGANs在理论上等价于最大熵模仿学习。
• 该方法通过学习完整的推荐轨迹而非单个行为，减少了级联误差。
• 该框架通过基于能量的公式化，实现了序列生成器的端到端训练，并提升了训练稳定性。
• 该方法不仅适用于音乐推荐，还可扩展至任何序列推荐任务，如点击流分析。
• 通过基于梯度的优化，该方法避免了直接近似模仿学习目标时常见的数值不稳定性。
• 实证结果表明，序列级别的推荐质量有所提升，尽管提供的文本中未量化具体指标。