[论文解读] Token Sequence Labeling vs. Clause Classification for English Emotion Stimulus Detection

Laura Oberländer, Roman Klinger|arXiv (Cornell University)|Oct 15, 2020

Sentiment Analysis and Opinion Mining参考文献 44被引用 16

一句话总结

本文比较了英语情感刺激检测中词元序列标注与从句分类两种方法，提出一个统一框架以在四个英语数据集上评估这两种方法。结果表明，词元序列标注在四个数据集中的三个上表现优于从句分类，错误分析确认从句在英语中并非最优的刺激单元，因其粒度过粗且与自然的刺激边界不匹配。

ABSTRACT

Emotion stimulus detection is the task of finding the cause of an emotion in a textual description, similar to target or aspect detection for sentiment analysis. Previous work approached this in three ways, namely (1) as text classification into an inventory of predefined possible stimuli ("Is the stimulus category A or B?"), (2) as sequence labeling of tokens ("Which tokens describe the stimulus?"), and (3) as clause classification ("Does this clause contain the emotion stimulus?"). So far, setting (3) has been evaluated broadly on Mandarin and (2) on English, but no comparison has been performed. Therefore, we aim to answer whether clause classification or sequence labeling is better suited for emotion stimulus detection in English. To accomplish that, we propose an integrated framework which enables us to evaluate the two different approaches comparably, implement models inspired by state-of-the-art approaches in Mandarin, and test them on four English data sets from different domains. Our results show that sequence labeling is superior on three out of four datasets, in both clause-based and sequence-based evaluation. The only case in which clause classification performs better is one data set with a high density of clause annotations. Our error analysis further confirms quantitatively and qualitatively that clauses are not the appropriate stimulus unit in English.

研究动机与目标

• 评估从句分类与词元序列标注在英语情感刺激检测中的有效性。
• 开发统一框架，实现从句级与词元级方法的直接比较。
• 探究在中文中标准采用的从句式表述是否能有效推广到英语。
• 分析错误模式，判断从句在语言学上是否适合作为英语情感刺激的单位。
• 发布标注数据与代码，以支持可复现性与未来研究。

提出的方法

• 设计统一框架，将输入文本映射为从句级与词元级表示，实现联合评估。
• 训练神经从句检测器以识别英语文本中的从句边界，支持从句分类作为下游任务。
• 使用IOB标注训练序列标注模型，识别构成情感刺激的词元。
• 将最先进的中文方法（如基于LSTM的层次编码器）进行适配，并在英语数据集上评估。
• 框架确保两种方法在相同的训练/验证/测试划分与评估指标下进行比较，实现公平对比。
• 采用联合评估协议，在四个不同领域的英语数据集上进行对比：EmotionStimulus、ElectoralTweets，以及另外两个来自不同领域的数据集。

实验结果

研究问题

• RQ1 在英语中，词元序列标注是否比从句分类更有效于情感刺激检测？
• RQ2 为中文开发的最先进从句分类模型是否能良好泛化到英语数据集？
• RQ3 从句在语言学上是否适合作为表示英语情感刺激的单位？
• RQ4 领域与文本类型（如正式文本与社交媒体文本）如何影响两种方法的性能？
• RQ5 导致两种方法性能差异的关键错误模式是什么？

主要发现

• 词元序列标注在四个英语数据集中的三个上表现优于从句分类，F1分数提升具有统计显著性。
• 唯一从句分类表现更优的数据集是ElectoralTweets，其从句标注密度较高，表明标注密度会影响性能。
• 错误分析确认，从句粒度过粗，无法准确捕捉英语中情感刺激的真实边界，常包含无关或不完整内容。
• 研究发现，英语中的情感刺激常为非从句结构，且跨越从句边界，与“从句是自然刺激单元”的假设相矛盾。
• 结果支持在英语中采用词元级序列标注作为情感刺激检测的首选方法，尤其在非正式及句法复杂的语境中。
• 作者发布了从句级与词元级标注的数据与代码，支持未来研究与可复现性。