[论文解读] Fine-Grained Spoiler Detection from Large-Scale Review Corpora

Mengting Wan, Rishabh Misra+2 more|arXiv (Cornell University)|May 31, 2019

Topic Modeling参考文献 11被引用 15

一句话总结

本文提出 SpoilerNet，一种神经网络模型，利用 Goodreads 上大规模的、句子级标注的数据集，检测图书评论中的细粒度剧透句子。该模型利用物品特异性、用户/物品偏置以及上下文句子建模，优于基线模型，在剧透检测准确率上取得显著提升。

ABSTRACT

This paper presents computational approaches for automatically detecting critical plot twists in reviews of media products. First, we created a large-scale book review dataset that includes fine-grained spoiler annotations at the sentence-level, as well as book and (anonymized) user information. Second, we carefully analyzed this dataset, and found that: spoiler language tends to be book-specific; spoiler distributions vary greatly across books and review authors; and spoiler sentences tend to jointly appear in the latter part of reviews. Third, inspired by these findings, we developed an end-to-end neural network architecture to detect spoiler sentences in review corpora. Quantitative and qualitative results demonstrate that the proposed method substantially outperforms existing baselines.

研究动机与目标

• 为训练鲁棒的检测模型，解决缺乏大规模、细粒度剧透标注数据集的问题。
• 研究用户评论中剧透句子的语言和结构模式，包括其位置、聚类特征以及物品特异性。
• 开发一个端到端的神经网络模型，以捕捉句子级依赖关系以及用户/物品特异性偏置，从而提升剧透检测性能。
• 通过实现自动化、可扩展的剧透检测，克服自报和众包方法的局限性，应用于评论语料库。

提出的方法

• 构建了一个大规模的图书评论数据集，包含 138 万条评论、2.5 万本书、1.8 万名用户和 1770 万条句子，其中 3.22% 的句子在句子级别被标注为剧透。
• 提出一种新颖的神经架构 SpoilerNet，将句子编码与物品特异性（通过 DF-IIF 分数实现）以及用户/物品偏置建模相结合。
• 采用混合损失函数，结合二元交叉熵损失和排序损失，以提升模型泛化能力并处理模糊标签。
• 应用预训练词嵌入并进行微调，以增强表示学习，尤其在 TV Tropes 等较小数据集上表现更优。
• 引入句子级编码器（如 BiLSTM 或自注意力机制），以建模序列依赖关系和上下文感知的剧透信号。
• 使用二元分类和排序指标对模型进行评估，证明其在多样化评论结构下的鲁棒性。

实验结果

研究问题

• RQ1 剧透句子在图书评论结构中的分布如何？它们是否倾向于集中在评论末尾？
• RQ2 剧透句子在多大程度上由特定书籍的术语构成？物品特异性能否被定量建模？
• RQ3 用户和物品偏置在多大程度上影响句子被标注为剧透的可能性？
• RQ4 能否通过一个联合建模句子上下文、物品特异性和用户/物品偏置的深度神经网络，超越传统分类器在剧透检测上的表现？
• RQ5 当前模型的主要失败模式是什么？能否通过改进训练策略加以缓解？

主要发现

• 剧透句子在评论后半部分出现的可能性显著更高，平均位置为 0.63（随机采样为 0.5），表明存在时间上的聚类模式。
• 剧透段落的平均长度是随机段落的两倍以上，证实剧透倾向于以连续句子的形式共现。
• DF-IIF 分数能有效捕捉物品特异性，剧透句子的平均 DF-IIF 值显著高于非剧透句子。
• SpoilerNet 在 Goodreads 和 TV Tropes 数据集上均优于所有基线模型，当移除句子编码模块时性能显著下降，验证了其重要性。
• 误报通常由非剧透语境中的揭示性词汇（如 '谋杀'、'被杀'）触发，表明需要更精细的语义理解能力。
• 自报剧透标签存在不一致性，尤其是在语义关联的句子中，凸显了标签的主观性，提示基于排序的评估可能比二元分类更合适。