[论文解读] Low-resource Languages: A Review of Past Work and Future Challenges

Alexandre Magueresse, Vincent Carles+1 more|arXiv (Cornell University)|Jun 12, 2020

Natural Language Processing Techniques参考文献 56被引用 36

一句话总结

面向低资源语言的NLP方法综述，聚焦投影/对齐、数据集创建、语言任务、语音、嵌入、机器翻译以及未来方向。

ABSTRACT

A current problem in NLP is massaging and processing low-resource languages which lack useful training attributes such as supervised data, number of native speakers or experts, etc. This review paper concisely summarizes previous groundbreaking achievements made towards resolving this problem, and analyzes potential improvements in the context of the overall future research direction.

研究动机与目标

• 总结历史与当前针对低资源语言（LRLs）的NLP方法。
• 分析跨任务的资源收集与自动对齐技术。
• 概述在LRL情境下的语言学任务、语音、嵌入、机器翻译与分类。
• 强调未来研究方向以及多样化数据集和语言接近度度量的必要性。

提出的方法

• 描述在文档、句子和词汇层面上的投影（对齐）技术及其在将HRL注释转移到LRLs中的作用。
• 回顾数据集创建工作（如 REFLEX-LCTL、LORELEI 等）以及在词汇诱导、句子和文档层面上的自动对齐方法。
• 讨论语言学任务（词性标注、依存句法分析、命名实体识别/类型识别/链接、形态诱导）以及投影/嵌入的应用方式。
• 总结语音识别方法（MLP 转移、隐马尔可夫模型）及其迁移学习考量。
• 总结嵌入与机器翻译方法（数据增强、多语言嵌入、迁移学习、语言图）。
• 指出跨领域挑战并提出方向，如多样化数据集和语言接近度度量。

实验结果

研究问题

• RQ1 哪些以投影/对齐为手段的过去方法有效应对了LRLs中的数据稀缺？
• RQ2 用于LRLs的主要数据收集与对齐策略是什么，它们支持哪些任务？
• RQ3 语言学任务、嵌入和机器翻译在LRLs中的适应情况如何，核心局限性是什么？
• RQ4 文献指出哪些未来方向与未解问题以改进LRL NLP？

主要发现

• 投影/对齐仍然是利用HRL注释来服务LRLs在文档、句子和词汇层面上的核心方法。
• 大量数据集努力（如 REFLEX-LCTL、LORELEI）和自动对齐技术支撑进展，强调文档/句子层面的应用。
• 语言学任务如词性标注、依存句法分析、命名实体识别/类型识别/链接，以及形态诱导受益于跨语言投影和多语言嵌入。
• LRLs的语音识别依赖迁移学习和结构改造（MLP/HMM），在数据异质性和实体检测方面仍存在挑战。
• 多语言嵌入与MT方法（迁移学习、零-shot翻译、语言图）显示出潜力，但依赖语言相似度和数据可用性。
• 明确的关键需求是多样化的多语言数据集和用于评估跨语言泛化的鲁棒接近度度量。