[论文解读] APPDIA: A Discourse-aware Transformer-based Style Transfer Model for Offensive Social Media Conversations

Katherine Atwell, Sabit Hassan+1 more|arXiv (Cornell University)|Sep 17, 2022

Hate Speech and Cyberbullying Detection被引用 11

一句话总结

本文提出APPDIA，一种基于注意力机制的论述感知风格迁移模型，通过整合宾夕法尼亚论述树库（PDTB）与修辞结构理论（RST）中的论述关系，实现Reddit评论中攻击性语言的去攻击化，同时保持语义一致性。在人工评估中，该模型在内容保留（48%偏好度，基线为36%）和连贯性（37%对比32%）方面均取得显著提升，尤其在具有明确论述结构的评论中表现更优。

ABSTRACT

Using style-transfer models to reduce offensiveness of social media comments can help foster a more inclusive environment. However, there are no sizable datasets that contain offensive texts and their inoffensive counterparts, and fine-tuning pretrained models with limited labeled data can lead to the loss of original meaning in the style-transferred text. To address this issue, we provide two major contributions. First, we release the first publicly-available, parallel corpus of offensive Reddit comments and their style-transferred counterparts annotated by expert sociolinguists. Then, we introduce the first discourse-aware style-transfer models that can effectively reduce offensiveness in Reddit text while preserving the meaning of the original text. These models are the first to examine inferential links between the comment and the text it is replying to when transferring the style of offensive Reddit text. We propose two different methods of integrating discourse relations with pretrained transformer models and evaluate them on our dataset of offensive comments from Reddit and their inoffensive counterparts. Improvements over the baseline with respect to both automatic metrics and human evaluation indicate that our discourse-aware models are better at preserving meaning in style-transferred text when compared to the state-of-the-art discourse-agnostic models.

研究动机与目标

• 解决社交媒体中从攻击性到非攻击性风格迁移缺乏平行且专家标注数据集的问题。
• 通过整合论述结构，提升攻击性Reddit评论在风格迁移过程中的语义内容保留能力。
• 开发并评估利用评论与其父帖之间推论性关联的论述感知Transformer模型。
• 证明论述感知模型在自动评估与人工评估指标上均优于论述无关的基线模型。
• 发布首个公开可用的、经专家标注的攻击性Reddit评论数据集，包含非攻击性对应文本及论述关系标签。

提出的方法

• 邀请专家社会语言学家对约2,000条攻击性Reddit评论进行标注，生成对应的非攻击性版本，构建平行语料库。
• 在单条评论内部整合宾夕法尼亚论述树库（PDTB）关系，以建模内部论述结构。
• 使用修辞结构理论（RST）论述树解析评论与父帖之间的配对，以建模句间关系。
• 通过引入论述感知注意力机制，微调预训练Transformer模型（如BART、T5），以指导风格迁移。
• 训练两种不同的论述感知模型变体：一种基于评论内部关系，另一种基于句间RST关系。
• 通过自动指标与人工评估，对内容保留、连贯性及整体偏好度进行模型评估。

实验结果

研究问题

• RQ1 与论述无关的基线模型相比，论述感知整合是否能提升风格迁移模型的语义内容保留能力？
• RQ2 评论中论述关系的存在如何影响风格迁移模型的性能？
• RQ3 论述感知模型在短文本社交媒体语境下，能在多大程度上在降低攻击性的同时保留原始语义？
• RQ4 结合多种论述框架（如PDTB与RST）是否比仅使用单一框架带来更好的内容保留效果？
• RQ5 论述解析能否提升风格迁移后攻击性评论的连贯性与语义保真度？

主要发现

• 论述感知模型在内容保留方面的偏好度达到48%，显著优于论述无关基线模型的36%。
• 对于包含论述关系的评论，论述感知模型在内容保留方面获得56%的偏好度，而基线模型仅为30%。
• 与基线模型（32%）相比，论述感知模型将连贯性提升至37%，且在内容保留方面效果更为显著。
• 人工评估显示，40%的响应整体偏好论述感知模型，而基线模型仅为29%。
• 结果表明，论述整合在具有明确推论或修辞关联至父内容的评论中尤为有效。
• 本研究证实，与标准微调的Transformer模型相比，论述感知模型在从攻击性到非攻击性风格迁移过程中更能有效保留语义意义。