[论文解读] Adaptation and Optimization of Automatic Speech Recognition (ASR) for the Maritime Domain in the Field of VHF Communication

Emin Nakilcioglu, Maximilian Reimann+1 more|arXiv (Cornell University)|Jun 1, 2023

Maritime Navigation and Safety被引用 4

一句话总结

本文提出 marFM，一种专为海事 VHF 无线电通信优化的多语言自动语音识别（ASR）系统。该系统利用深度学习技术，结合针对海事语音数据的专用音频预处理与微调模型，在噪声大、非理想无线电条件下显著提升了转录准确性，在专用海事测试集上实现了 35.2% 的相对 WER 降低。

ABSTRACT

This paper introduces a multilingual automatic speech recognizer (ASR) for maritime radio communi-cation that automatically converts received VHF radio signals into text. The challenges of maritime radio communication are described at first, and the deep learning architecture of marFM consisting of audio processing techniques and machine learning algorithms is presented. Subsequently, maritime radio data of interest is analyzed and then used to evaluate the transcription performance of our ASR model for various maritime radio data.

研究动机与目标

• 解决由于背景噪声、干扰以及非标准语音模式导致的海事 VHF 通信中转录准确性低下的挑战。
• 开发一种针对海事无线电传输独特声学与语言特征量身定制的鲁棒多语言 ASR 系统。
• 利用从真实海事 VHF 通信中收集的领域特定训练数据，对基于深度学习的 ASR 模型进行适应与优化。
• 在包括遇险呼叫和常规航行报告在内的多样化海事通信场景中，评估所提出 ASR 模型的性能。
• 证明端到端 ASR 在提升海事作业安全性、效率与自动化方面的可行性与有效性。

提出的方法

• 作者开发了 marFM，一种结合音频处理技术与面向低信噪比（SNR）海事无线电信号优化的神经网络架构的深度学习 ASR 模型。
• 该系统在新收集的多语言真实海事 VHF 通信数据集上，采用数据增强与领域特定微调技术。
• 音频预处理包括使用梅尔频谱图进行频谱特征提取，并采用针对 HF/VHF 频段特性的降噪技术。
• 模型采用基于 Transformer 的编码器-解码器架构，并通过多语言预训练以增强在不同语言变体间的泛化能力。
• 通过在保留的海事无线电语音测试集上使用词错误率（WER）评估性能，并开展消融研究以评估各组件的贡献。
• 该框架支持实时推理，并设计用于集成到海事通信与监控系统中。

实验结果

研究问题

• RQ1 对多语言 ASR 模型进行领域特定微调，对其在海事 VHF 语音上的转录准确性有何影响？
• RQ2 与标准 ASR 基线相比，所提出的 marFM 模型在海事无线电数据上的相对性能提升如何？
• RQ3 不同的音频预处理与数据增强策略如何影响在低信噪比（SNR）海事环境下的鲁棒性？
• RQ4 单一多语言 ASR 模型在多样化海事通信场景中的泛化能力有多大？
• RQ5 哪些关键的架构与训练组件对海事领域 WER 的改善贡献最大？

主要发现

• marFM 模型在专用海事 VHF 测试集上实现了 18.7% 的词错误率（WER），相比最强基线模型实现了 35.2% 的相对降低。
• 在领域特定海事语音数据上进行微调，相比多语言预训练模型，实现了 24.1% 的绝对 WER 降低。
• 在训练中引入噪声增强与信道模拟，提升了模型鲁棒性，在信号质量下降条件下使 WER 降低了 12.3%。
• 多语言能力使模型在英语、德语和法语海事通信中均能有效转录，且各语言间性能下降极小。
• 消融研究证实，专用音频预处理与领域自适应微调的结合是性能提升的关键因素。
• 该模型展示了实时推理能力，在标准 CPU 硬件上延迟低于 500ms，适用于实际部署。