[论文解读] A Survey of Code-switched Speech and Language Processing

Sunayana Sitaram, Khyathi Raghavi Chandu+2 more|arXiv (Cornell University)|Mar 25, 2019

Natural Language Processing Techniques参考文献 212被引用 53

一句话总结

关于语音与自然语言处理中的代码切换的全面综述，列出数据集、基准、任务、模型，以及代码切换语言处理中的开放挑战。

ABSTRACT

Code-switching, the alternation of languages within a conversation or utterance, is a common communicative phenomenon that occurs in multilingual communities across the world. This survey reviews computational approaches for code-switched Speech and Natural Language Processing. We motivate why processing code-switched text and speech is essential for building intelligent agents and systems that interact with users in multilingual communities. As code-switching data and resources are scarce, we list what is available in various code-switched language pairs with the language processing tasks they can be used for. We review code-switching research in various Speech and NLP applications, including language processing tools and end-to-end systems. We conclude with future directions and open problems in the field.

研究动机与目标

• 强调在多语言用户交互中处理代码切换文本与语音的重要性。
• 提供覆盖语音与文本任务的代码切换语言对的数据集与资源的全面目录。
• 评估NLP与ASR中代码切换的共享任务、基准与评估方法。
• 总结建模方法与应用，并概述存在的问题与未来方向。

提出的方法

• 总结代码切换的语言学理论并将其转化为NLP/ASR中的计算性考量。
• 整理可用的代码切换语音（ASR/TTS）和文本（LID、NER、POS、解析、问答、自然语言推理、社交媒体数据）的语料与资源。
• 描述在数据稀缺时用于代码切换系统的建模策略，包括迁移学习、领域自适应和合成数据生成。
• 讨论代码切换系统的评估基准与方法，包括语言边界、矩阵语言概念和跨语言约束。
• 突出多语言模型（例如多语言BERT）和嵌入在代码切换NLP中的作用。

实验结果

研究问题

• RQ1 在不同语言对的代码切换语音与文本方面存在哪些数据集与资源？
• RQ2 在数据稀缺的情况下，哪些建模与评估方法能够实现有效的代码切换ASR与NLP？
• RQ3 共享任务与基准如何推动代码切换语言处理的发展？
• RQ4 在语音与NLP中的代码切换处理方面还存在哪些待解决的问题与未来方向？

主要发现

• 存在多个人际代码切换数据集用于语音（例如 SEAME、HKUST Mandarin-English、CEMOS、CUMIX、MCSM、FACST）和文本（LID、NER、POS、解析、QA、NLI、社交媒体）。
• 为应对稀缺的代码切换资源，依赖迁移学习、领域自适应和合成数据。
• 共享任务与基准推动了代码切换数据在LID、NER、POS、解析、QA和NLI方面的进展。
• 对代码切换系统的评估将矩阵语言概念、语言边界检测和跨语言约束作为核心考量。
• 正在探索大型多语言模型与跨语言嵌入以应对NLP中的代码切换。
• 用于代码切换的ASR方法包括单通道软LID决策、双语声学模型，以及通过合成数据或半监督数据进行的数据增强。