[论文解读] Generative Concatenative Nets Jointly Learn to Write and Classify Reviews

Zachary C. Lipton, Sharad Vikram+1 more|arXiv (Cornell University)|Nov 11, 2015

Topic Modeling参考文献 22被引用 30

一句话总结

本文提出生成连接网络（GCNs），一种基于字符级别的RNN模型，可联合生成个性化产品评论并分类作者、商品类别和情感。通过在序列中重复复制辅助输入（如用户、评分、类别），该模型在无需显式分类训练的情况下，学习生成连贯且风格准确的评论，同时实现零样本分类的高准确率。

ABSTRACT

A recommender system's basic task is to estimate how users will respond to unseen items. This is typically modeled in terms of how a user might rate a product, but here we aim to extend such approaches to model how a user would write about the product. To do so, we design a character-level Recurrent Neural Network (RNN) that generates personalized product reviews. The network convincingly learns styles and opinions of nearly 1000 distinct authors, using a large corpus of reviews from BeerAdvocate.com. It also tailors reviews to describe specific items, categories, and star ratings. Using a simple input replication strategy, the Generative Concatenative Network (GCN) preserves the signal of static auxiliary inputs across wide sequence intervals. Without any additional training, the generative model can classify reviews, identifying the author of the review, the product category, and the sentiment (rating), with remarkable accuracy. Our evaluation shows the GCN captures complex dynamics in text, such as the effect of negation, misspellings, slang, and large vocabularies gracefully absent any machinery explicitly dedicated to the purpose.

研究动机与目标

• 开发一种深度生成模型，基于用户和商品特征生成个性化、风格准确的产品评论。
• 探究仅通过文本生成训练的生成模型是否能同时实现对作者、情感和类别的准确分类。
• 解决使用字符级RNN在无词级别分词的情况下建模大规模词汇、标点符号、俚语和否定表达的挑战。
• 评估生成模型的内部表征是否捕捉到有意义的辅助信息，从而实现零样本分类。
• 探索使用生成模型的似然值作为分类代理的可行性，避免单独的判别式训练。

提出的方法

• 该模型使用基于字符的长短期记忆（LSTM）网络，根据辅助输入生成字符序列。
• 辅助输入（作者、评分、类别）在序列的每个时间步重复复制，以在长序列中保持其影响。
• 通过标准语言建模目标，最大化在给定输入条件下真实评论的似然性进行训练。
• 分类通过在不同输入条件下评估生成评论的似然性实现，无需微调或单独训练。
• 该架构避免词级别分词，从而能够稳健处理OOV词、拼写错误和罕见词汇。
• 输入复制替代注意力机制，在简化模型的同时保持生成和分类任务的性能。

实验结果

研究问题

• RQ1 基于字符的RNN是否能在不进行显式分类训练的情况下，联合生成个性化评论并分类作者、情感和类别等辅助属性？
• RQ2 该生成模型在多大程度上能捕捉到个体作者的写作风格特征（如标点、大写字母使用、结构）？
• RQ3 该模型在训练数据中未出现的用户-商品组合上，泛化能力如何？
• RQ4 在无词级别监督的情况下，该模型如何处理否定、俚语和大规模词汇等语言复杂性？
• RQ5 在不同输入条件下生成序列的似然值是否可作为分类的有效代理？

主要发现

• GCN能够生成高度可信、风格一致的评论，准确匹配近1,000位不同作者的写作风格，即使在未见过的用户-商品组合上亦然。
• 尽管未直接进行分类训练，该模型在作者、类别和情感预测上的分类准确率几乎与纯判别式模型持平。
• 该模型在未见评论上泛化良好，能生成连贯且语境恰当的啤酒属性描述（如外观、气味、口感），且结构一致。
• 由于其字符级表示和长距离依赖能力，该模型无需显式建模即可捕捉复杂的语言现象，如否定、拼写错误和俚语。
• 输入复制使长序列中的条件控制更加稳定，相较于注意力机制，在此任务中表现出更简洁的结构和更高的推理效率。
• 通过似然评分进行分类具有鲁棒性，对异常值的敏感性低于基于困惑度的评估，为模型知识提供了可靠的代理指标。