[论文解读] Learning Document-Level Semantic Properties from Free-Text Annotations

S. R. K. Branavan, Harr Chen+2 more|Jan 15, 2014

Advanced Text Analysis Techniques参考文献 44被引用 59

一句话总结

本文提出了一种分层贝叶斯模型，通过发现隐藏的同义结构并将之与评论文本中的潜在主题关联，从用户生成内容（如产品评论）中常见的噪声大、自由文本形式的关键短语注释中学习文档级别的语义属性。该方法在关键短语聚类和主题建模方面表现优异，显著优于基线方法，在总结具有语义显著属性的文档方面展现出优越性能。

ABSTRACT

This paper presents a new method for inferring the semantic properties of documents by leveraging free-text keyphrase annotations. Such annotations are becoming increasingly abundant due to the recent dramatic growth in semi-structured, user-generated online content. One especially relevant domain is product reviews, which are often annotated by their authors with pros/cons keyphrases such as a real bargain or good value. These annotations are representative of the underlying semantic properties; however, unlike expert annotations, they are noisy: lay authors may use different labels to denote the same property, and some labels may be missing. To learn using such noisy annotations, we find a hidden paraphrase structure which clusters the keyphrases. The paraphrase structure is linked with a latent topic model of the review texts, enabling the system to predict the properties of unannotated documents and to effectively aggregate the semantic properties of multiple reviews. Our approach is implemented as a hierarchical Bayesian model with joint inference. We find that joint inference increases the robustness of the keyphrase clustering and encourages the latent topics to correlate with semantically meaningful properties. Multiple evaluations demonstrate that our model substantially outperforms alternative approaches for summarizing single and multiple documents into a set of semantically salient keyphrases.

研究动机与目标

• 解决在大规模文档集合中从噪声大、用户生成的关键短语注释中学习语义属性的挑战。
• 克服非专家用户可能使用不同术语表示同一属性或遗漏标签所导致的标签噪声与不一致问题。
• 开发一种联合推理框架，将关键短语的同义结构与文档文本中的潜在主题关联，以提升模型的鲁棒性与语义相关性。
• 实现在未标注文档中准确预测语义属性，并有效聚合多篇评论中的属性。

提出的方法

• 使用隐藏的同义结构发现组件，将关键短语注释建模为潜在语义属性的噪声性、同义性表达。
• 将同义结构与基于潜在狄利克雷分配（LDA）的主题模型相结合，联合推断主题与语义属性。
• 利用分层贝叶斯框架对关键短语与文档文本进行联合推理，实现对语义等价注释的鲁棒聚类。
• 利用关键短语与主题的共现模式，推断出与有意义文档级属性相关的潜在语义属性。
• 应用变分推理近似主题与属性的后验分布，从而实现从大规模数据集中的可扩展学习。
• 通过联合似然目标函数优化模型，以促进同义关键短语与语义一致主题之间的对齐。

实验结果

研究问题

• RQ1 一种能够发现自由文本关键短语之间同义结构的联合模型，是否能提升在噪声注释中学习语义属性的鲁棒性？
• RQ2 将关键短语的同义结构与潜在主题关联，能在多大程度上提升文档级语义属性预测的可解释性与准确性？
• RQ3 在使用语义显著的关键短语总结单篇与多篇文档时，所提出方法与基线方法相比表现如何？
• RQ4 与独立建模相比，对关键短语与主题进行联合推理是否能带来更优的语义等价注释聚类效果？
• RQ5 该模型是否能有效泛化至仅利用学习到的同义-主题结构来预测未标注文档中的语义属性？

主要发现

• 所提出的模型在使用语义显著的关键短语总结单篇与多篇文档时，显著优于基线方法。
• 联合推理通过降低对非专家用户产生的噪声或不一致标注的敏感性，提升了关键短语聚类的鲁棒性。
• 模型学习到的潜在主题与具有语义意义的属性（如性价比或产品耐用性）表现出强烈相关性。
• 在关键短语预测任务中，该模型的F1分数高于其他方法，证明其具备更高的准确率与泛化能力。
• 关键短语之间同义结构的发现，使得即使在标签用词不同时，也能有效聚合多篇评论中的语义属性。
• 在真实世界产品评论数据上的实证评估证实，联合建模框架显著提升了聚类质量与预测性能。