[论文解读] Improving Agreement and Disagreement Identification in Online Discussions with A Socially-Tuned Sentiment Lexicon

Lu Wang, Claire Cardie|arXiv (Cornell University)|Jun 17, 2016

Sentiment Analysis and Opinion Mining参考文献 24被引用 5

一句话总结

本文提出一种结合社会调校情感词典的等序条件随机场（CRF）模型，以提升在线讨论中句子级意见一致与不一致的检测效果。通过从通用情感资源中自举构建领域特定词典，并利用等序约束进行整合，该模型在维基百科讨论页上的意见一致与不一致检测任务中分别取得了0.74和0.67的F1分数，显著优于线性链CRF与SVM基线模型。

ABSTRACT

We study the problem of agreement and disagreement detection in online discussions. An isotonic Conditional Random Fields (isotonic CRF) based sequential model is proposed to make predictions on sentence- or segment-level. We automatically construct a socially-tuned lexicon that is bootstrapped from existing general-purpose sentiment lexicons to further improve the performance. We evaluate our agreement and disagreement tagging model on two disparate online discussion corpora -- Wikipedia Talk pages and online debates. Our model is shown to outperform the state-of-the-art approaches in both datasets. For example, the isotonic CRF model achieves F1 scores of 0.74 and 0.67 for agreement and disagreement detection, when a linear chain CRF obtains 0.58 and 0.56 for the discussions on Wikipedia Talk pages.

研究动机与目标

• 提升在线讨论中意见一致与不一致的检测效果，此类任务因语言非正式、情绪化且依赖上下文而具有挑战性。
• 解决通用情感词典在捕捉用户生成在线内容中细微社会互动方面的局限性。
• 开发一种将领域特定情感知识整合到序列建模中的方法，以实现细粒度态度检测。
• 在多样化的在线讨论数据集（包括维基百科讨论页与在线辩论）上评估模型，以确保其在不同领域中的鲁棒性。
• 证明通过等序约束引入上下文感知情感特征，可使模型性能超越标准CRF与SVM方法。

提出的方法

• 采用等序CRF模型对在线讨论轮次中的序列依赖关系进行建模，实现对句子层面一致、不一致或中立情感的结构化预测。
• 通过从通用词典中使用种子词进行自举，并在维基百科讨论页数据上应用标签传播，自动构建社会调校情感词典。
• 对模型参数施加等序约束，以编码来自词典的领域知识，确保情感得分与词汇情感强度呈单调关系。
• 模型整合了多种特征类型：词汇特征、句法/语义特征、话语特征、对话级特征，以及来自新词典的情感特征。
• 通过卡方检验评估特征重要性，识别出意见一致与不一致的显著指标，如主题相关术语与模糊表达。
• 采用软F1分数与配对t检验对性能进行评估，以验证相对于基线模型改进的统计显著性。

实验结果

研究问题

• RQ1 结合社会调校情感词典的等序CRF模型是否能在在线讨论中意见一致与不一致检测任务上超越标准CRF与SVM基线模型？
• RQ2 为在线讨论话语量身定制的自举情感词典在提升情感标注性能方面效果如何？
• RQ3 词汇、句法、话语与情感等不同特征类型在意见一致与不一致检测中的贡献程度如何？
• RQ4 意见/不一致检测的主要错误模式是什么，它们如何限制模型性能？
• RQ5 通过等序约束实现的上下文感知情感建模，是否能比标准模型更好地捕捉讽刺与隐含不一致？

主要发现

• 在维基百科讨论页（AAWD）数据集上，结合社会调校词典的等序CRF模型在意见一致检测中取得0.74的F1分数，在不一致检测中取得0.67的F1分数，显著优于线性链CRF模型（0.58与0.56）。
• 在在线辩论（IAC）数据集上，该模型在意见一致检测中取得0.61的F1分数，在不一致检测中取得0.78的F1分数，表明其在基线模型上具有持续改进效果。
• 从新词典中提取的情感特征的引入，显著提升了所有基线模型的性能，其中等序CRF模型的增益最为显著。
• 特征消融实验显示，每增加一个特征集，性能均呈递增改善，其中情感特征对最终F1分数的提升贡献最大。
• 错误分析表明，讽刺与通过矛盾示例表达的隐含不一致是主要挑战，表明需超越词汇情感的深层语义理解。
• 卡方检验突出显示‘the male’与‘the scientist’等主题相关术语为不一致的强指标，表明主题感知特征可提升检测准确性。