[论文解读] A machine transliteration tool between Uzbek alphabets

Ulugbek Salaev, Elmurod Kuriyozov+1 more|arXiv (Cornell University)|May 19, 2022

Jewish Identity and Society被引用 7

一句话总结

本论文提出了首个针对乌兹别克语的开源机器音译工具，支持西里尔字母、拉丁字母以及新近改革的拉丁字母之间的自动转换。该工具结合了基于规则的映射与微调模型，拉丁字母到新拉丁字母音译的F1得分最高达0.94，并提供了Python包、网页界面和公共API，适用于研究与系统集成。

ABSTRACT

Machine transliteration, as defined in this paper, is a process of automatically transforming written script of words from a source alphabet into words of another target alphabet within the same language, while preserving their meaning, as well as pronunciation. The main goal of this paper is to present a machine transliteration tool between three common scripts used in low-resource Uzbek language: the old Cyrillic, currently official Latin, and newly announced New Latin alphabets. The tool has been created using a combination of rule-based and fine-tuning approaches. The created tool is available as an open-source Python package, as well as a web-based application including a public API. To our knowledge, this is the first machine transliteration tool that supports the newly announced Latin alphabet of the Uzbek language.

研究动机与目标

• 为解决乌兹别克语这类低资源语言在使用三种不同字母表且使用重叠但不一致的背景下所面临的语言处理挑战。
• 开发一个实用、易用且高精度的音译系统，实现西里尔字母、拉丁字母与新引入的新拉丁字母之间的转换。
• 克服现有工具的局限性，这些工具或为闭源，或缺乏API，或实现质量较差。
• 通过提供可靠且可扩展的解决方案，支持乌兹别克语向新拉丁字母的过渡，服务于自然语言处理任务。
• 为未来乌兹别克语的自然语言处理流水线开发（包括分词、词性标注和形态分析）奠定基础。

提出的方法

• 该工具采用混合方法，结合基于规则的字符映射与在精选乌兹别克语文本数据上微调的神经网络模型。
• 针对不同字母表应用特定规则，以处理变音符号与双字母组合，特别是新拉丁字母，其将双字母组合替换为单个字符。
• 系统利用涵盖所有三种字母表的词对精选数据集进行音译性能的训练与评估。
• 基于Python包构建了公共API与网页界面，支持集成到自然语言处理工作流中。
• 采用词级别微平均F1得分对模型进行评估，误差分析聚焦于特例与形态变化。
• 工具包含输入归一化技术，以处理拼写不一致的形态，如字母“o”和“g”音的多个撇号表示形式。

实验结果

研究问题

• RQ1 如何为像乌兹别克语这样具有三种活跃字母表的低资源、黏着性语言，有效构建机器音译系统？
• RQ2 基于规则与微调模型的混合方法在西里尔字母、拉丁字母与新拉丁字母之间音译中的性能如何？
• RQ3 拼写复杂性差异（如双字母组合与变音符号）如何影响音译的准确性？
• RQ4 系统在真实用户生成文本中处理形态变化与外来词的能力如何？
• RQ5 在创建支持官方语言改革的可扩展、开源音译工具时，面临的主要挑战是什么？

主要发现

• 拉丁字母到新拉丁字母的音译取得了最高的F1得分0.94，归因于映射规则极少且一致，且无例外情况。
• 拉丁字母到西里尔字母的音译F1得分最低，为0.89，主要由于转换规则复杂且不一致，且存在大量例外。
• 新拉丁字母与其他字母表之间的音译性能优于拉丁字母与西里尔字母之间的转换，因为新拉丁字母减少了所需转换规则的数量。
• 系统的性能显著受形态变化和词干形式不匹配的影响，尤其当词元未正确归一时。
• 用户生成的文本，特别是撇号使用不一致的情况（如o‘, o’, o‘），对准确音译构成重大挑战。
• 当前系统因新拉丁字母真实文本稀缺，依赖人工整理的数据，凸显了扩充训练数据的迫切需求。