[论文解读] Word Segmentation and Morphological Parsing for Sanskrit

Jingwen Li, Leander Girrbach|arXiv (Cornell University)|Jan 30, 2022

Natural Language Processing Techniques被引用 10

一句话总结

本文提出了一种新颖的方法，通过将分词建模为通过编辑操作的序列标注，并预测形态规则以从屈折形式派生词干，实现对梵语文本的分词与形态分析。作者提出了一种端到端可训练的流水线，其在联合分词与分析任务中取得了最高的F1分数（80.018），在WSMP 2021黑客松比赛中优于其他方法。

ABSTRACT

We describe our participation in the Word Segmentation and Morphological Parsing (WSMP) for Sanskrit hackathon. We approach the word segmentation task as a sequence labelling task by predicting edit operations from which segmentations are derived. We approach the morphological analysis task by predicting morphological tags and rules that transform inflected words into their corresponding stems. Also, we propose an end-to-end trainable pipeline model for joint segmentation and morphological analysis. Our model performed best in the joint segmentation and analysis subtask (80.018 F1 score) and performed second best in the individual subtasks (segmentation: 96.189 F1 score / analysis: 69.180 F1 score). Finally, we analyse errors made by our models and suggest future work and possible improvements regarding data and evaluation.

研究动机与目标

• 解决由于连音现象和高度复杂的形态结构导致的梵语文本分词与形态分析挑战。
• 克服由于屈折形式中语音平滑化和同音异义现象引起的分词与分析歧义。
• 设计一种联合学习框架，通过共享分词与分析之间的表示，提升模型鲁棒性。
• 通过基于规则的词干重构，提升模型对未登录词（OOV）形式的泛化能力。
• 识别现有评估指标的局限性，并提出更符合语言学实际的改进评估策略。

提出的方法

• 通过预测编辑操作（插入、删除、替换）将分词建模为序列标注任务，以推导出正确的分词结果。
• 通过预测形态标签和转换规则，实现对形态分析的建模，将屈折形式映射到其词干。
• 设计一种端到端可训练的流水线，通过共享编码器表示，联合优化分词与形态分析。
• 通过插值已知的屈折 paradigms，利用基于规则的词干重构方法，实现对未登录词形式的泛化。
• 在解码过程中通过词典查表引入语言学知识，以纠正错误预测（如性、词根形式等）。
• 提出一种基于子集的评估策略，用于分析模型在具有语言学意义的测试子集（如重叠形式、歧义情况）上的表现。

实验结果

研究问题

• RQ1 预测编辑操作是否能提升在受连音影响的梵语文本中分词任务的性能？
• RQ2 所学习的形态规则在多大程度上能泛化到梵语中的未登录词（OOV）形式？
• RQ3 与串行流水线相比，分词与形态分析的联合训练在多大程度上减少了错误传播？
• RQ4 当前模型在形态分析中的主要失败模式是什么？如何使评估更具语言学意义？
• RQ5 基于规则的词干重构是否能增强低资源形态分析中模型的鲁棒性与可解释性？

主要发现

• 所提出的端到端联合模型在联合分词与分析子任务中取得了80.018的最高F1分数，优于WSMP黑客松中的所有其他参赛方法。
• 模型在分词任务中取得96.189的F1分数，在分析任务中取得69.180的F1分数，两项任务均排名第二。
• 错误分析显示，损坏的训练数据导致了错误的形态规则生成，且性别预测错误较为常见，提示通过整合词典可进一步提升性能。
• 作者发现官方评估指标存在缺陷，其通过计算重叠字符数而非语义或句法正确性来衡量相似度，导致评估分数具有误导性。
• 按语言学复杂度（如重叠形式、歧义情况）分类的测试集子集分析显示性能不一致，凸显了细粒度评估的必要性。
• 通过基于规则的词干插值，模型在未登录词形式上的泛化能力得到验证，显示出在低资源形态学习中的潜力。