[论文解读] Cross-lingual Argument Mining in the Medical Domain

Anar Yeginbergenova, Rodrigo Agerri|arXiv (Cornell University)|Jan 25, 2023

Topic Modeling被引用 6

一句话总结

本论文提出了一种用于医学领域的跨语言论据挖掘方法，通过使用机器翻译和标签投影，从现有的英文语料库自动构建西班牙语标注数据集。该方法在性能上优于使用 mBERT 的零样本跨语言迁移，且合成的西班牙语数据提升了英语和西班牙语基准上的表现，建立了首个西班牙语多语言医学论据挖掘数据集。

ABSTRACT

Nowadays the medical domain is receiving more and more attention in applications involving Artificial Intelligence as clinicians decision-making is increasingly dependent on dealing with enormous amounts of unstructured textual data. In this context, Argument Mining (AM) helps to meaningfully structure textual data by identifying the argumentative components in the text and classifying the relations between them. However, as it is the case for man tasks in Natural Language Processing in general and in medical text processing in particular, the large majority of the work on computational argumentation has been focusing only on the English language. In this paper, we investigate several strategies to perform AM in medical texts for a language such as Spanish, for which no annotated data is available. Our work shows that automatically translating and projecting annotations (data-transfer) from English to a given target language is an effective way to generate annotated data without costly manual intervention. Furthermore, and contrary to conclusions from previous work for other sequence labelling tasks, our experiments demonstrate that data-transfer outperforms methods based on the crosslingual transfer capabilities of multilingual pre-trained language models (model-transfer). Finally, we show how the automatically generated data in Spanish can also be used to improve results in the original English monolingual setting, providing thus a fully automatic data augmentation strategy.

研究动机与目标

• 为解决非英语医学文本中论据标注数据的缺乏，特别是西班牙语数据的不足。
• 评估在仅存在英文标注数据的医学领域中，跨语言论据挖掘策略的有效性。
• 开发并验证一种利用翻译和自动标签投影生成高质量、低资源西班牙语标注数据的方法。
• 比较使用 mBERT 的零样本跨语言迁移与使用自动生成的西班牙语标注进行数据增强的有效性。
• 证明通过翻译和投影生成的合成数据可在源语言（英语）和目标语言（西班牙语）中均提升模型性能。

提出的方法

• 使用 OPUS-MT 和 DeepL 将英文 AbstRCT 语料库进行机器翻译，生成西班牙语版本。
• 利用词对齐工具，将英文标签自动投影到西班牙语中，以保持论据成分边界和关系的一致性。
• 对投影后的标注进行人工与自动的后处理校正，以提升质量与一致性。
• 在生成的西班牙语数据集以及合并的英西语数据集上，对多语言和领域特定模型（mBERT、SciBERT、BERT）进行微调。
• 训练并评估序列标注模型，用于论据成分分类（主要主张、主张、前提）和关系分类（支持、攻击、无关系）。
• 比较使用 mBERT 的零样本跨语言推理与在合成西班牙语数据上微调的模型，以及混合语言训练设置下的性能表现。

实验结果

研究问题

• RQ1 通过翻译和标签投影自动生成的西班牙语论据数据，是否能有效支持医学领域的论据挖掘？
• RQ2 与使用 mBERT 等多语言模型的零样本跨语言迁移相比，该翻译-投影方法是否更具优势？
• RQ3 在合成西班牙语数据上进行训练，能在多大程度上提升西班牙语和英语论据挖掘基准的性能？
• RQ4 零样本跨语言预测中的主要错误模式是什么？与单语或混合语言训练中的错误模式有何不同？
• RQ5 论据关系分类的性能在多大程度上依赖于上下文信息？合成数据能否缓解此问题？

主要发现

• 翻译与投影方法在论据成分分类方面显著优于使用 mBERT 的零样本跨语言迁移。
• 在自动生成的西班牙语数据集上进行微调，提升了原始英文基准上的性能，表明数据增强有效。
• 在西班牙语数据上的零样本预测 F1 分数比单语训练低约 3%，主要错误为序列中间部分的标签错误分配。
• 最常见的误分类类型是“主张”类别，尤其在复杂或模糊的句子结构中更为明显。
• 关系分类性能仍然较低，主要由于数据不平衡和上下文信息不足，其中 SciBERT 在测试模型中取得了最高的 F1 分数。
• 本研究成功构建了首个标注的西班牙语医学论据挖掘数据集，为生物医学领域多语言论据分析的未来研究奠定了基础。