[论文解读] Cross-Target Stance Classification with Self-Attention Networks

Chang Xu, Cécile Paris+2 more|arXiv (Cornell University)|May 17, 2018

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

本文提出 CrossNet，一种用于跨目标立场分类的自注意力神经网络，通过学习领域特定方面，将知识从源目标（例如气候变化）迁移至目标目标（例如采矿项目）。该模型通过关注跨目标的共享高层次领域关切，提升泛化能力，在相关目标上的表现优于基线模型。

ABSTRACT

In stance classification, the target on which the stance is made defines the boundary of the task, and a classifier is usually trained for prediction on the same target. In this work, we explore the potential for generalizing classifiers between different targets, and propose a neural model that can apply what has been learned from a source target to a destination target. We show that our model can find useful information shared between relevant targets which improves generalization in certain scenarios.

研究动机与目标

• 解决目标特定立场分类器需为每个新目标重新训练的局限性。
• 探索模型是否可通过利用共享领域方面，在相关目标间实现泛化。
• 开发一种方法，识别并利用不同但相关目标上立场的共同领域特定方面。
• 利用相关源目标的知识，提升对未见目标的零样本或少样本立场分类性能。
• 验证自注意力机制是否能有效突出对跨目标推理具有语义相关性的句子部分。

提出的方法

• 采用双编码器架构，为立场承载句子和目标分别使用独立的 BiLSTM 网络。
• 通过将句子 BiLSTM 初始化为目标 BiLSTM 的最终隐藏状态和细胞状态，实现条件编码，以建模目标依赖的上下文。
• 在方面注意力层中应用自注意力机制，识别并加权对应于领域特定方面的句子部分。
• 在整个语料库中共享注意力参数，以从多个样本中学习循环的、与领域相关的模式。
• 利用注意力权重聚焦于关键短语（例如 'reef'，'environmental disaster'），这些短语反映了用户在不同目标上的核心关切。
• 端到端训练模型，利用源目标的知识，在目标目标上预测立场标签（支持，反对）。

实验结果

研究问题

• RQ1 在某一目标上训练的立场分类器是否能有效泛化到另一个相关目标？
• RQ2 在不同目标的立场中，哪些类型的领域特定方面被一致地关注？
• RQ3 自注意力机制在多大程度上能识别并聚焦于句子中对跨目标推理具有语义相关性的部分？
• RQ4 所提出的模型在跨目标立场分类中的性能与基线模型相比如何？
• RQ5 该模型在从源语料库泛化时，能否学会忽略目标特定关键词（例如 'abortion'，'Trump'），尽管这些词在源语料库中不常见但对目标目标至关重要？

主要发现

• 所提出的 CrossNet 模型在目标目标上的立场分类性能优于多个强基线模型，尤其在具有共享关切的领域中表现更优。
• 自注意力权重的可视化显示，当对采矿项目立场进行分类时，模型成功突出了领域相关短语，如 'reef'，'destroy' 和 'environmental disaster'。
• 模型学习到如 'feminist'，'equality' 和 'rights' 等领域特定方面用于女性权利，以及 'president'，'dreams' 和 'republican' 用于美国政治，表明其具备有效的领域表征学习能力。
• 目标特定词汇（如 'abortion'，'Trump'）在从源目标泛化时未能被充分捕捉，证实了模型对共享领域方面的依赖。
• 该模型通过聚焦于高层次关切（如环境破坏）而非词汇重叠，展示了有效的迁移学习能力，从而实现在语义相关目标间的泛化。
• 方面注意力层成功识别并强调了具有情感色彩和领域关键性的术语（如 'great'，'crazy'，'criminal'），这些术语对准确的立场预测有重要贡献。