[论文解读] Mere account mein kitna balance hai? -- On building voice enabled Banking Services for Multilingual Communities

Akshat Gupta, Sai Krishna Rallabandi+1 more|arXiv (Cornell University)|Oct 9, 2020

Linguistic Variation and Morphology参考文献 1被引用 6

一句话总结

本文提出了一种面向多语言社区的语音驱动银行系统，采用音素单位和朴素贝叶斯分类器，以识别混合语言（印地英语，Hinglish）语音中的用户意图。尽管数据集较小，但通过结合一元、二元和三元模型并使用绝对折扣法，实现了83%的准确率，证明了在低资源环境下实现多语言语音银行应用的可行性。

ABSTRACT

Tremendous progress in speech and language processing has brought language technologies closer to daily human life. Voice technology has the potential to act as a horizontal enabling layer across all aspects of digitization. It is especially beneficial to rural communities in scenarios like a pandemic. In this work we present our initial exploratory work towards one such direction -- building voice enabled banking services for multilingual societies. Speech interaction for typical banking transactions in multilingual communities involves the presence of filled pauses and is characterized by Code Mixing. Code Mixing is a phenomenon where lexical items from one language are embedded in the utterance of another. Therefore speech systems deployed for banking applications should be able to process such content. In our work we investigate various training strategies for building speech based intent recognition systems. We present our results using a Naive Bayes classifier on approximate acoustic phone units using the Allosaurus library.

研究动机与目标

• 为多语言社区，特别是农村地区的印度，开发一种语音驱动的银行服务，以应对语言多样性与低数字素养带来的挑战。
• 解决非正式银行互动中常见的混合语言（尤其是Hinglish）语言复杂性问题。
• 研究在来自多种印度语言的有限、低资源语音数据上进行意图分类的有效训练策略。
• 通过一种语音翻译方法，将一种语言的语句转换为另一种语言，构建伪平行多语言数据集，以支持未来的半监督学习。
• 评估在低资源、多语言语音中，使用近似音素单位的N-gram模型在意图识别中的性能。

提出的方法

• 使用一个模拟银行应用，从11名说话者处收集了100多个以任务为导向的Hinglish对话，涵盖五种银行意图。
• 获取了六种印度语言的语音数据：印地语、马拉地语、古吉拉特语、旁遮普语、泰卢固语和博杰普里语。
• 使用Allosaurus库将原始音频转换为近似音素单位，用于后续分类。
• 应用带有加1平滑和绝对折扣法的朴素贝叶斯分类器，进行N-gram语言建模。
• 采用5折交叉验证，每折留出两个语句用于测试，由于样本量过少，排除了罕见的“取款”和“存款”意图。
• 通过绝对折扣法确定的最优delta值，将一元、二元和三元模型进行组合，以提升性能。

实验结果

研究问题

• RQ1 语音驱动的意图识别系统能否有效处理印度银行场景中常见的混合语言、多语言语句？
• RQ2 N-gram模型阶数（一元、二元、三元）在有限、低资源语音数据上对意图分类准确率有何影响？
• RQ3 与加1平滑法相比，绝对折扣法是否能在低数据环境下提升意图分类性能？
• RQ4 结合一元、二元和三元特征的混合N-gram模型是否能比单一模型实现更高的准确率？
• RQ5 通过语音翻译生成的伪平行数据能否支持未来多语言语音应用中的半监督学习？

主要发现

• 在单一N-gram模型中，一元模型配合加1平滑法达到最高准确率56%，而三元模型性能显著下降至17%。
• 绝对折扣法在所有N-gram模型中均提升了测试准确率，其中一元模型在delta值为5时达到69%的准确率。
• 通过最优delta值组合（一元模型delta=5，二元模型delta=1，三元模型delta=1）的混合模型实现了最佳性能，准确率达到83%。
• 随着N-gram阶数增加导致性能下降，归因于初始探索性数据集中的数据稀疏性，表明更大的数据集可能产生更均匀的N-gram分布。
• 使用同一说话者生成的伪平行数据，为未来多语言语音应用中的半监督训练提供了潜在可能性。
• 结果表明，使用朴素贝叶斯的音素级N-gram建模在低资源、多语言银行场景下的意图识别中具有可行性。