Skip to main content
QUICK REVIEW

[论文解读] Exploiting Sentiment and Common Sense for Zero-shot Stance Detection

Luo Yun, Zihan Liu|arXiv (Cornell University)|Aug 18, 2022
Topic Modeling被引用 12
一句话总结

该论文提出了一种新颖的零样本立场检测模型,通过图自编码器和情感感知BERT整合情感与常识知识,在VAST基准上实现了最先进性能。该模型通过情感和常识推理利用隐含主题线索,提升了泛化能力,消融研究证实了两种知识类型的有效性。

ABSTRACT

The stance detection task aims to classify the stance toward given documents and topics. Since the topics can be implicit in documents and unseen in training data for zero-shot settings, we propose to boost the transferability of the stance detection model by using sentiment and commonsense knowledge, which are seldom considered in previous studies. Our model includes a graph autoencoder module to obtain commonsense knowledge and a stance detection module with sentiment and commonsense. Experimental results show that our model outperforms the state-of-the-art methods on the zero-shot and few-shot benchmark dataset--VAST. Meanwhile, ablation studies prove the significance of each module in our model. Analysis of the relations between sentiment, common sense, and stance indicates the effectiveness of sentiment and common sense.

研究动机与目标

  • 解决在训练数据中未显式出现的隐含主题下零样本立场检测的挑战。
  • 通过整合情感与常识知识提升模型泛化能力,这些知识在先前工作中未被充分使用。
  • 开发一个统一框架,将情感与常识知识融合到基于BERT的立场检测模型中。
  • 评估情感-常识对齐对立场分类性能的影响。
  • 展示模型在复杂案例(如反语、引语和隐含主题引用)中的鲁棒性。

提出的方法

  • 基于RGCN和DisMult的图自编码器在ConceptNet上进行训练,以从关系知识中学习,实现对未见主题的常识推理。
  • 使用SentiBERT提取情感信息,并通过交叉注意力机制注入BERT,以增强情感感知表示。
  • 立场检测模块结合BERT、情感特征和常识嵌入,通过立场分类损失进行端到端微调。
  • 在图自编码器的预训练过程中使用负采样,以优化概念之间的关系预测。
  • 在VAST数据集上评估模型在零样本和少样本设置下的性能,并通过消融研究分离各组件的贡献。
  • 以不同覆盖水平预训练常识知识,以分析其对性能的影响。

实验结果

研究问题

  • RQ1整合情感与常识知识在未见主题上的零样本立场检测性能方面有何提升?
  • RQ2情感与常识知识对立场分类准确率的相对贡献如何?
  • RQ3不同情感-立场对(如(正向,支持)、(负向,反对))如何影响模型性能?
  • RQ4增加常识知识覆盖范围在多大程度上提升模型泛化能力?
  • RQ5当主题通过上下文线索隐含引用时,模型能否有效检测立场?

主要发现

  • 所提模型在VAST基准上实现了零样本和少样本立场检测的最先进性能。
  • 在(负向,反对)情感-立场对上达到78.9%的准确率,在(正向,支持)对上达到56.6%,表明对应情感-立场对的准确率更高。
  • 中性立场的性能显著更高(83.1%–91.4%),而支持或反对立场的性能较低,表明中性情况更容易检测。
  • 随着常识知识覆盖范围的提升,宏平均F1分数随之增加,表明知识范围与模型性能之间存在直接正相关关系。
  • 消融研究证实,图自编码器和情感模块均显著提升性能,完整模型优于基线模型。
  • 案例研究显示,模型在涉及反语、隐含引用(如“games”指代“Olympics”)和隐喻语言的复杂情况下能正确识别立场。

更好的研究,从现在开始

从阅读论文到最终审阅,大幅缩短您的研究时间。

无需绑定信用卡

本解读由 AI 生成,并经人工编辑审核。