[论文解读] SIGMORPHON 2023 Shared Task of Interlinear Glossing: Baseline Model

Michael Ginn|arXiv (Cornell University)|Mar 24, 2023

Natural Language Processing Techniques被引用 5

一句话总结

本文提出了一种基于 RoBERTa 的 Transformer 模型，用于低资源语言的自动逐字标注，将标注预测视为 token 分类任务。当提供词素级分词时，该模型在准确率上显著提升（最高达 16.4%），在词素级标注任务中表现出色，同时揭示了未来可通过子词建模、语音相似性及上下文嵌入实现改进的潜力。

ABSTRACT

Language documentation is a critical aspect of language preservation, often including the creation of Interlinear Glossed Text (IGT). Creating IGT is time-consuming and tedious, and automating the process can save valuable annotator effort. This paper describes the baseline system for the SIGMORPHON 2023 Shared Task of Interlinear Glossing. In our system, we utilize a transformer architecture and treat gloss generation as a sequence labelling task.

研究动机与目标

• 开发低资源语言自动逐字标注的基线系统，减轻语言记录中的手动标注负担。
• 评估基于 Transformer 的模型在从转录文本和翻译中预测词素标注方面的有效性。
• 在 SIGMORPHON 2023 共享任务的封闭赛道和开放赛道中，比较词级与词素级输入表示形式下的性能表现。
• 识别当前方法的关键局限，特别是对未登录词和未见词素形式的处理能力。
• 提出未来研究方向，以提升词素泛化能力，并利用语音学和预训练嵌入等语言资源。

提出的方法

• 模型采用默认超参数的 RoBERTa，对词素或词级输入进行微调，用于 token 分类任务。
• 输入序列通过分隔符 token 拼接源端转录文本与英文/西班牙语翻译，各自使用独立的词表。
• 任务被建模为序列标注：每个词素或词被分配一个标注标签（例如，'Neg' 表示否定，'eats' 表示词干）。
• 训练使用 AdamW 优化器，初始固定学习率为 2e-5，权重衰减为 0.01，在 Nvidia V100 GPU 上训练 80 个周期。
• 预处理通过正则表达式分割文本，保留词素中的连字符以维持词边界线索。
• 评估指标包括词素和语法词素（grams）的逐 token 准确率、F1、精确率、召回率，以及标注序列的 BLEU 分数。

实验结果

研究问题

• RQ1 基于 RoBERTa 的序列标注模型在低资源语言的逐字标注任务中效果如何？
• RQ2 在输入中提供词素级分词（开放赛道）与仅使用词级输入（封闭赛道）相比，性能提升有多大？
• RQ3 单一的 Transformer 架构能否在数据量和词素复杂度差异较大的多种低资源语言上实现泛化？
• RQ4 当未提供分词时，模型如何处理未登录词？
• RQ5 通过引入语音相似性、子词表示或预训练词嵌入，可实现哪些性能改进？

主要发现

• 开放赛道模型（提供词素分词）的词素级准确率比封闭赛道模型（未提供分词）高出 16.4%，其中 Gitksan 语言的词干标注准确率从 30.0% 提升至 37.8%，Uspanteko 语言的整体平均准确率从 81.3% 提升至 87.0%。
• 在封闭赛道中，词级准确率高于词素级准确率，表明模型在更简单、更短的词上表现更优。
• 在开放赛道中，即使整个词被错误分类，模型仍能正确标注单个词素，显示出对部分错误的鲁棒性。
• 在开放赛道中，Arapaho 语言的词素级 F1 得分最高，达到 91.2；而 Gitksan 表现最差（F1 为 39.7），可能由于数据量有限且词素聚合程度低。
• BLEU 分数在 Arapaho（63.4）最高，Gitksan（19.7）最低，反映出数据量和词素复杂度对序列生成质量的显著影响。
• 模型性能在不同语言间差异显著，Nyangbo 和 Uspanteko 表现优异（F1 > 85），而 Gitksan 表现最弱（F1 < 22），凸显了低资源环境下的挑战。