[论文解读] I Wish I Would Have Loved This One, But I Didn't -- A Multilingual Dataset for Counterfactual Detection in Product Reviews

James O’Neill, Polina Rozenshtein+3 more|arXiv (Cornell University)|Apr 14, 2021

Sentiment Analysis and Opinion Mining被引用 4

一句话总结

本论文首次基于英文、德文和日文的亚马逊产品评论，构建了多语言反事实检测（CFD）数据集，并在句子级别进行人工标注。结果表明，如XLM-RoBERTa等上下文建模模型对提示词引发的选择偏差具有较强的鲁棒性，而机器翻译则无法保持跨语言性能，凸显了语言特定数据集的必要性。

ABSTRACT

Counterfactual statements describe events that did not or cannot take place. We consider the problem of counterfactual detection (CFD) in product reviews. For this purpose, we annotate a multilingual CFD dataset from Amazon product reviews covering counterfactual statements written in English, German, and Japanese languages. The dataset is unique as it contains counterfactuals in multiple languages, covers a new application area of e-commerce reviews, and provides high quality professional annotations. We train CFD models using different text representation methods and classifiers. We find that these models are robust against the selectional biases introduced due to cue phrase-based sentence selection. Moreover, our CFD dataset is compatible with prior datasets and can be merged to learn accurate CFD models. Applying machine translation on English counterfactual examples to create multilingual data performs poorly, demonstrating the language-specificity of this problem, which has been ignored so far.

研究动机与目标

• 解决非英语语言及电商等新领域中多语言高质量CFD数据集匮乏的问题。
• 探究基于提示词的句子选择所引入的选择偏差是否会影响CFD模型的鲁棒性。
• 评估机器翻译在构建多语言CFD数据方面的有效性。
• 比较不同文本表示方法与分类器在多语言CFD任务中的性能表现。
• 评估预训练模型中的社会偏见对下游CFD任务的影响。

提出的方法

• 从亚马逊产品评论中构建多语言CFD数据集，涵盖英文、德文和日文，并由专业人员在句子级别进行人工标注。
• 利用提示词（如'would have'、'if only'）筛选候选句子以提升标注效率，随后通过人工验证确保准确性。
• 采用多种文本表示方法训练二分类器：词袋模型（BoN）、词嵌入以及上下文掩码语言模型（如BERT、XLM-RoBERTa）。
• 通过在训练和推理阶段屏蔽提示词，评估模型对选择偏差的鲁棒性。
• 通过在英文数据集中加入语义相似但不含提示词的句子，测试模型的泛化能力。
• 跨语言比较性能表现，尤其检验通过机器翻译实现多语言迁移的有效性。

实验结果

研究问题

• RQ1 当在训练过程中屏蔽提示词时，CFD模型的性能如何变化，以衡量其对选择偏差的鲁棒性？
• RQ2 机器翻译能否有效用于构建多语言CFD数据集，还是必须依赖语言特定的标注？
• RQ3 在不同语言中，哪种文本表示方法——BoN、词嵌入还是上下文变换器——能产生最鲁棒的CFD模型？
• RQ4 由于分词方式的差异，CFD模型在不同语言中的表现是否存在显著差异，尤其是日文？
• RQ5 预训练语言模型中的社会偏见在基于产品评论训练的CFD模型中传播程度如何？

主要发现

• 基于Transformer的模型如XLM-RoBERTa在屏蔽提示词时表现显著优于传统的基于BoN的模型，表明其对词法线索的依赖性更低。
• 在日文数据集中，SVM结合BoN特征表现最佳，表明语言特定的分词方式优于子词分词（如BPE）方法。
• 当屏蔽提示词后，所有模型的性能均下降，但上下文模型的下降幅度最小，证实其具备更强的语义鲁棒性。
• 英文数据集与SemEval-2020 CFD数据集兼容，支持合并数据进行模型训练，从而提升准确率。
• 将英文反事实句通过机器翻译转换为其他语言后，跨语言分类性能显著下降，证明反事实表达具有语言特定性。
• 上下文嵌入（如XLM-RoBERTa）在少量标注数据下仍保持高性能，并快速收敛，表明其对多样化反事实模式具有强大的泛化能力。