[论文解读] Finnish Paraphrase Corpus

Jenna Kanerva, Filip Ginter+8 more|arXiv (Cornell University)|Mar 24, 2021

Natural Language Processing Techniques参考文献 13被引用 5

一句话总结

本论文介绍了首个完全人工标注的芬兰语释义语料库，包含53,572对释义对，数据源自替代字幕和新闻标题，上下文有效释义的人工分类准确率达到98%。作者开发了一种人工候选选择方法，生成的释义对比自动化方法更长、词汇多样性更高，从而为芬兰语语义感知自然语言处理模型的高质量训练与评估提供了支持。

ABSTRACT

In this paper, we introduce the first fully manually annotated paraphrase corpus for Finnish containing 53,572 paraphrase pairs harvested from alternative subtitles and news headings. Out of all paraphrase pairs in our corpus 98% are manually classified to be paraphrases at least in their given context, if not in all contexts. Additionally, we establish a manual candidate selection method and demonstrate its feasibility in high quality paraphrase selection in terms of both cost and quality.

研究动机与目标

• 创建大规模、完全人工标注的芬兰语释义语料库，以支持语义感知自然语言处理模型的微调与评估。
• 通过开发人工候选选择方法，解决现有自动释义语料库中偏向短句、词汇相似性高的问题。
• 提升低资源语言（如芬兰语）高质量、人工验证的释义数据可用性。
• 评估从平行单语源（如字幕和新闻标题）中进行人工释义候选选择的可行性、成本与质量。
• 为未来芬兰语释义检测与生成研究提供基线模型与工具。

提出的方法

• 从替代字幕和新闻标题中人工收集释义候选，重点聚焦于语义等价但词汇多样的表达方式。
• 开发并应用人工候选选择流程，以避免自动化方法中常见的偏差，强调生成更长且重叠度更低的释义对。
• 设计多标签标注方案，包含基础标签（释义、非释义等）与蕴含标志（i, s, 4<, 4），以捕捉细微的语义关系。
• 使用在语料库上微调的BERT模型进行多标签分类，基础标签与标志分别使用独立的预测头。
• 通过各类F1分数、加权F1分数与准确率评估模型性能，与人工标注者表现及多数基线进行比较。
• 通过GitHub发布语料库，采用CC-BY-SA许可，包含45,663个上下文有效的释义对与7,909个重写对，以提升泛化能力。

实验结果

研究问题

• RQ1 完全人工的候选选择流程是否能产出质量更高、更长且词汇多样性更高的释义对，优于自动化方法？
• RQ2 对于低资源语言芬兰语，大规模人工标注释义语料库的成本与可行性如何？
• RQ3 微调后的BERT模型在新芬兰语释义数据集上的表现与人工标注者及多数基线相比如何？
• RQ4 包含蕴含标志（i, s, 4<, 4）在多大程度上提升了标注方案的表达力与实用性？
• RQ5 所提出的这种方法能否推广至其他语言或具有丰富释义潜力的领域？

主要发现

• 芬兰语释义语料库包含53,572个人工分类的释义对，其中98%在给定语境下被确认为有效释义。
• 人工候选选择方法成功生成了比自动化方法更长、词汇重叠度更低的释义对。
• 该语料库是目前任何语言中最大规模的完全人工标注释义数据集，包含45,663个上下文有效的释义对与7,909个重写对，以增强泛化能力。
• 表现最佳的基于BERT的模型取得了52.2%的加权F1分数与54.0%的准确率，其性能介于多数基线（34.3%）与人工标注者表现（68.7%）之间。
• 各类F1分数介于38.7%（类别2）至71.7%（类别4）之间，性能与类别频率强相关。
• 标注过程共耗时14个人月，证明了大规模人工收集在低资源语言中的高成本但可行性。