[论文解读] Low-Resource Language Modelling of South African Languages

Stuart Mesham, Luc Hayward+2 more|arXiv (Cornell University)|Apr 1, 2021

Topic Modeling参考文献 33被引用 10

一句话总结

本论文采用字节对编码（BPE）对低资源的南非语种（尤其是isiZulu和Sepedi）进行开放词汇语言模型评估。在小规模数据集上，经过良好正则化的RNN（AWD-LSTM和QRNN）优于n-gram、前馈网络和Transformer模型，且多语言训练进一步提升了在相关科伊-桑语系（Nguni）和班图-茨瓦纳语系（Sotho-Tswana）语言中的性能。

ABSTRACT

Language models are the foundation of current neural network-based models for natural language understanding and generation. However, research on the intrinsic performance of language models on African languages has been extremely limited, which is made more challenging by the lack of large or standardised training and evaluation sets that exist for English and other high-resource languages. In this paper, we evaluate the performance of open-vocabulary language models on low-resource South African languages, using byte-pair encoding to handle the rich morphology of these languages. We evaluate different variants of n-gram models, feedforward neural networks, recurrent neural networks (RNNs), and Transformers on small-scale datasets. Overall, well-regularized RNNs give the best performance across two isiZulu and one Sepedi datasets. Multilingual training further improves performance on these datasets. We hope that this research will open new avenues for research into multilingual and low-resource language modelling for African languages.

研究动机与目标

• 解决非洲语言（尤其是低资源的南非语种）在内在语言建模性能方面的研究不足问题。
• 克服像isiZulu和Sepedi这类黏着语系的本尼乌-刚果语系语言在数据稀疏性和形态复杂性方面的挑战。
• 评估不同神经网络架构（n-gram、前馈网络、RNN和Transformer）在小规模、低资源数据集上的有效性。
• 探究在不改变架构的前提下，对相关南非语种进行多语言训练是否能提升语言建模性能。
• 证明字节对编码（BPE）在处理形态丰富性和开放词汇建模方面在低资源环境中的实用性。

提出的方法

• 使用可配置词汇表大小（如isiZulu为8000，Sepedi为2000）的字节对编码（BPE）将词语分割为子词单元，以减少词汇稀疏性。
• 训练并评估多种语言模型架构：n-gram模型、前馈神经网络（FFNN）、循环神经网络（LSTM、AWD-LSTM、QRNN）和Transformer。
• 以每字符位数（BPC）作为主要评估指标，用于比较不同数据集上的模型性能。
• 实施模型正则化技术（如dropout和权重衰减），尤其针对AWD-LSTM和QRNN模型以防止过拟合。
• 通过将多个相关南非语种（如科伊-桑语系和班图-茨瓦纳语系）的文本拼接为单一训练集，实现多语言训练。
• 为单语、同语族、跨语族和完整多语言设置分别训练模型，并针对每种配置调整超参数。

实验结果

研究问题

• RQ1 在低资源南非语种（如isiZulu和Sepedi）上，不同神经语言模型架构（n-gram、FFNN、RNN、Transformer）的表现如何？
• RQ2 在黏着语系的低资源环境下，经过良好正则化的RNN（如AWD-LSTM和QRNN）是否能优于Transformer和简单模型？
• RQ3 在不修改架构的前提下，对相关南非语种进行多语言训练是否能提升语言建模性能？
• RQ4 基于BPE的子词分词在多大程度上缓解了本尼乌-刚果语系语言中形态丰富性和大规模词级别词汇表带来的挑战？
• RQ5 在相同语言族内训练与在不同但相关的语言族间训练，是否存在性能差异？

主要发现

• 经过良好正则化的RNN（AWD-LSTM和QRNN）在所有三个数据集（isiZulu和Sepedi）上均表现最佳，优于Transformer和简单模型。
• AWD-LSTM和QRNN模型在Sepedi数据集上的测试BPC得分分别为1.331和1.334，在isiZulu数据集上分别为1.298和1.391。
• 多语言训练显著提升了性能：最佳模型在全部9种非欧洲南非语种上联合训练后，在isiZulu上达到1.298的BPC，在Sepedi上达到1.331的BPC。
• 在同语族语言（如所有科伊-桑语系语言用于isiZulu）上训练可获得显著提升，其中班图-茨瓦纳语系为Sepedi带来的增益高于科伊-桑语系。
• n-gram和FFNN模型表现较差且不稳定，表明在训练速度与性能之间存在权衡，n-gram虽快但准确性较低。
• BPE在管理形态复杂性方面表现有效，支持开放词汇建模，并在低资源环境下减轻了数据稀疏性问题。