[论文解读] Sentence based semantic similarity measure for blog-posts

Mehwish Aziz, Muhammad Rafi|arXiv (Cornell University)|Jan 10, 2012

Sentiment Analysis and Opinion Mining参考文献 11被引用 7

一句话总结

本文提出了一种针对博客文章的新型基于句子的语义相似度度量方法，旨在解决用户生成网络内容中短文本、非正式表达及上下文贫乏所带来的挑战。通过采用加权融合方法结合词汇、句法和语义特征，该方法在巴基斯坦博客圈中实现了政治博客文章的更好聚类效果，并有效识别出具有影响力的博主，相较于标准相似度度量方法在该领域特定任务中表现更优。

ABSTRACT

Blogs-Online digital diary like application on web 2.0 has opened new and easy way to voice opinion, thoughts, and like-dislike of every Internet user to the World. Blogosphere has no doubt the largest user-generated content repository full of knowledge. The potential of this knowledge is still to be explored. Knowledge discovery from this new genre is quite difficult and challenging as it is totally different from other popular genre of web-applications like World Wide Web (WWW). Blog-posts unlike web documents are small in size, thus lack in context and contain relaxed grammatical structures. Hence, standard text similarity measure fails to provide good results. In this paper, specialized requirements for comparing a pair of blog-posts is thoroughly investigated. Based on this we proposed a novel algorithm for sentence oriented semantic similarity measure of a pair of blog-posts. We applied this algorithm on a subset of political blogosphere of Pakistan, to cluster the blogs on different issues of political realm and to identify the influential bloggers.

研究动机与目标

• 解决标准文本相似度度量方法在分析短文本、非正式且上下文贫乏的博客文章时的局限性。
• 开发一种针对政治博客圈独特语言和结构特征的领域特定语义相似度度量方法。
• 通过语义相似度实现对政治议题相关博客文章的有效聚类。
• 基于语义相似度模式，识别政治博客圈中的影响力博主。

提出的方法

• 该方法采用基于句子的语义相似度度量，整合词汇、句法和语义特征。
• 利用基于WordNet的语义相似度计算句子对中词语之间的同义关系与上下位关系。
• 通过依存句法树计算句法相似度，以比较句子结构。
• 通过TF-IDF加权的词项匹配测量词汇重叠，以体现词项的重要性。
• 采用加权融合模型，结合三种相似度得分（词汇、句法、语义），使用基于实证分析得出的领域特定权重。
• 最终的相似度得分用于博客文章聚类，并根据影响力对博主进行排序。

实验结果

研究问题

• RQ1 如何在缺乏上下文丰富性的短篇、非正式博客文章中有效度量语义相似度？
• RQ2 词汇、句法和语义特征的何种组合能为政治博客内容提供最准确的相似度度量？
• RQ3 与传统方法相比，基于句子的相似度度量能否提升政治议题博客文章的聚类效果？
• RQ4 语义相似度在多大程度上可用于识别政治博客圈中的影响力博主？

主要发现

• 所提出的语义相似度度量方法在政治博客圈的博客文章聚类任务中，显著优于标准的词汇和向量空间相似度方法。
• 引入句法和语义特征后，聚类准确率高于仅依赖词汇重叠的方法。
• 该方法成功识别出关键政治议题，并以高度一致的主题内容将相关博客文章有效归类。
• 基于博主在博客网络中高连通性与语义中心性，其影响力被有效识别。