[论文解读] Context-aware Natural Language Generation with Recurrent Neural Networks

Jian Tang, Y. F. Yang+3 more|arXiv (Cornell University)|Nov 29, 2016

Multimodal Machine Learning Applications参考文献 19被引用 69

一句话总结

本文提出两种基于RNN的模型C2S和gC2S，用于上下文感知的自然语言生成，通过将情感、产品身份等上下文信息编码为连续语义表征，生成类人写作风格的文本序列。gC2S模型采用门控机制，实现从上下文到词语的直接注意力机制，生成的虚假评论在人类判断者中超过50%被误判为真实，且在最先进检测算法下有超过90%被误判，表明其生成结果高度逼真。

ABSTRACT

This paper studied generating natural languages at particular contexts or situations. We proposed two novel approaches which encode the contexts into a continuous semantic representation and then decode the semantic representation into text sequences with recurrent neural networks. During decoding, the context information are attended through a gating mechanism, addressing the problem of long-range dependency caused by lengthy sequences. We evaluate the effectiveness of the proposed approaches on user review data, in which rich contexts are available and two informative contexts, sentiments and products, are selected for evaluation. Experiments show that the fake reviews generated by our approaches are very natural. Results of fake review detection with human judges show that more than 50\% of the fake reviews are misclassified as the real reviews, and more than 90\% are misclassified by existing state-of-the-art fake review detection algorithm.

研究动机与目标

• 开发端到端、数据驱动的自然语言生成模型，整合情感、产品身份等上下文信息。
• 通过门控机制实现从上下文到词语的直接注意力，解决RNN在长序列中的长期依赖问题。
• 生成自然、多样且符合上下文的文本序列，使其与人类撰写的评论无法区分。
• 通过人类判断和最先进的虚假评论检测系统，评估生成文本的真实性。

提出的方法

• C2S模型使用前馈网络将多种上下文类型（如情感评分、产品ID）编码为连续语义表征。
• gC2S模型在C2S基础上引入门控机制，使上下文表征能直接在每个解码步骤影响词语生成。
• 门控注意力机制动态控制在解码过程中，上下文信息注入隐藏状态的时机与程度。
• 模型使用长短期记忆（LSTM）单元建模序列依赖关系，捕捉文本生成中的长程上下文信息。
• 编码器-解码器框架在亚马逊和TripAdvisor的用户评论数据上端到端训练，输入为上下文特征，输出为文本序列。
• 门控机制实现从上下文到隐藏状态的跳跃连接，提升信息流动效率，缓解长序列中的梯度退化问题。

实验结果

研究问题

• RQ1 上下文感知的神经文本生成能否生成与真实人类撰写的评论无法区分的评论？
• RQ2 门控机制在长序列中有效引导上下文信息影响远距离词语的程度如何？
• RQ3 生成的评论在多大程度上能准确反映正确的感情极性与产品特异性细节？
• RQ4 最先进的虚假评论检测系统在本模型生成的评论上表现如何？

主要发现

• gC2S模型生成的虚假评论中，超过50%被人类判断者误判为真实，表明生成文本具有高度真实性。
• 超过90%的生成虚假评论被最先进的虚假评论检测算法误判，证明该模型在模仿人类写作风格方面极为有效。
• 对生成评论的情感分类结果显示，F1分数为0.529（细粒度）和0.982（二分类），与真实评论结果高度接近，表明情感表达准确。
• 经定性分析验证，生成评论在语法上正确，语境恰当，且准确反映情感倾向与产品信息。
• 由于门控注意力机制实现了更优的上下文传播，gC2S模型在长序列中显著优于C2S模型。
• 该模型在书籍、电子产品、电影和酒店等多个领域均成功生成多样、自然流畅的评论，且在不同情感水平下表现一致。