[论文解读] DiaASQ : A Benchmark of Conversational Aspect-based Sentiment Quadruple Analysis

Bobo Li, Hao Fei+9 more|arXiv (Cornell University)|Nov 10, 2022

Sentiment Analysis and Opinion Mining被引用 7

一句话总结

本文提出了DiaASQ，一个用于多轮对话中对话式方面情感四元组分析的新基准，支持在多轮对话中端到端检测目标-方面-观点-情感三元组。作者发布了大规模、高质量的中英文数据集，包含1,000段对话片段（共7,452条语句），并提出一种端到端神经模型，通过利用对话特定表示和跨语句编码来提升四元组抽取性能，在新基准上优于强基线模型。

ABSTRACT

The rapid development of aspect-based sentiment analysis (ABSA) within recent decades shows great potential for real-world society. The current ABSA works, however, are mostly limited to the scenario of a single text piece, leaving the study in dialogue contexts unexplored. To bridge the gap between fine-grained sentiment analysis and conversational opinion mining, in this work, we introduce a novel task of conversational aspect-based sentiment quadruple analysis, namely DiaASQ, aiming to detect the quadruple of target-aspect-opinion-sentiment in a dialogue. We manually construct a large-scale high-quality DiaASQ dataset in both Chinese and English languages. We deliberately develop a neural model to benchmark the task, which advances in effectively performing end-to-end quadruple prediction, and manages to incorporate rich dialogue-specific and discourse feature representations for better cross-utterance quadruple extraction. We hope the new benchmark will spur more advancements in the sentiment analysis community.

研究动机与目标

• 为解决方面情感分析（ABSA）研究中长期集中于单文本输入的不足，提出一种面向对话级ABSA的新任务。
• 构建一个全面的对话式方面情感四元组分析基准（DiaASQ），捕捉多轮对话中的目标、方面、观点和情感。
• 构建一个大规模、高质量、多语言的中英文数据集，从真实的社交媒体对话中精细标注情感四元组。
• 设计并评估一种端到端神经模型，有效捕捉对话特异性交互和跨语句依赖关系，以实现四元组抽取。
• 通过提供标准化基准和开源资源，推动未来在多语言、跨语句及指代消解感知ABSA方面的研究。

提出的方法

• 作者提出一种网格填充标记方案，通过一次前向传播联合预测四元组的四个组成部分（目标、方面、观点、情感），避免组合爆炸问题。
• 模型采用多头自注意力机制，引入对话特异性话语交互表示，以捕捉说话者层面的上下文和对话流。
• 将相对话语距离编码为位置特征，以建模跨语句依赖关系和对话轮次间的时间关系。
• 框架采用序列标注方法并使用结构化预测损失进行端到端训练，实现对所有四元组组件的联合优化。
• 数据集通过众包方式构建，由受训标注员完成，确保在中文和英文中对目标、方面、观点及情感极性进行高质量标注。
• 多语言版本通过翻译原始中文标注生成，保留平行句子对齐，以支持跨语言分析。

实验结果

研究问题

• RQ1 如何将方面情感分析从单文本输入扩展到多轮对话上下文？
• RQ2 在对话中提取跨越多个语句的情感四元组面临哪些关键挑战？
• RQ3 统一的端到端神经模型在多大程度上能有效捕捉对话特异性表示和跨语句依赖关系以实现四元组抽取？
• RQ4 所提出的模型在大规模、多语言、对话级ABSA基准上的性能与强基线相比如何？
• RQ5 所提出的基准能否支持未来在多语言和跨语言对话情感分析方面的研究？

主要发现

• DiaASQ基准包含1,000段对话片段，共7,452条语句，其中22.2%的四元组跨越多个语句，凸显了跨语句抽取的挑战。
• 所提出的端到端模型显著优于强基线模型，证明了建模对话特异性交互和相对语句距离的有效性。
• 模型在处理指代消解方面表现出更强鲁棒性，例如对代词“它”指代先前提及的目标（如“Xiaomi 6”）的情况。
• 模型能有效处理重叠四元组，即同一方面（如“电池续航”）出现在不同目标（如“Xiaomi 11”和“Xiaomi 6”）中。
• 数据集的多语言版本支持跨语言分析，中英文平行标注为未来多语言ABSA研究提供支持。
• 数据集已公开发布，用户数据已匿名化，并采取了伦理保障措施，包括合理标注员报酬和API合规性。