[论文解读] Improving callsign recognition with air-surveillance data in air-traffic communication

Iuliia Nigmatulina, Rudolf Braun+2 more|arXiv (Cornell University)|Aug 27, 2021

Speech Recognition and Synthesis参考文献 18被引用 9

一句话总结

本文提出通过在自动语音识别（ASR）解码过程中集成实时空中监视数据，动态提升航空器呼号识别的性能。采用两种方法——G-boosting（动态语言模型权重调整）和基于呼号n-gram增强的解码轨迹重评分——系统在呼号识别准确率上实现了28.4%的绝对提升，词错误率（WER）最高降低74.2%，显著提升了安全关键通信的可靠性。

ABSTRACT

Automatic Speech Recognition (ASR) can be used as the assistance of speech communication between pilots and air-traffic controllers. Its application can significantly reduce the complexity of the task and increase the reliability of transmitted information. Evidently, high accuracy predictions are needed to minimize the risk of errors. Especially, high accuracy is required in recognition of key information, such as commands and callsigns, used to navigate pilots. Our results prove that the surveillance data containing callsigns can help to considerably improve the recognition of a callsign in an utterance when the weights of probable callsign n-grams are reduced per utterance. In this paper, we investigate two approaches: (1) G-boosting, when callsigns weights are adjusted at language model level (G) and followed by the dynamic decoder with an on-the-fly composition, and (2) lattice rescoring when callsign information is introduced on top of lattices generated using a conventional decoder. Boosting callsign n-grams with the combination of two methods allowed us to gain 28.4% of absolute improvement in callsign recognition accuracy and up to 74.2% of relative improvement in WER of callsign recognition.

研究动机与目标

• 解决由于噪声、口音和语音差异导致的空中交通管制（ATC）通信中呼号识别错误率高的问题。
• 提升关键ATC指令（尤其是呼号）的识别准确率，这些呼号对飞机识别与导航至关重要。
• 将包含当前有效呼号的实时空中监视数据集成到ASR解码过程中，以增强对有效、在作用范围内的呼号的识别。
• 评估两种动态集成方法的有效性：G-boosting（语法级权重调整）和轨迹重评分（解码后优化）。
• 证明上下文相关的雷达数据可显著提升ASR性能，而无需使用领域内语言模型或预先标注的语法规则。

提出的方法

• G-boosting通过根据当前注册在雷达中的呼号动态调整语言模型（G）中呼号线素的权重，从而调整其概率。
• 使用有限状态转换器（FST）将修改后的G.fst与解码图其余部分实时组合，实现每句话的动态适应。
• 轨迹重评分使用基线ASR系统生成的解码词轨迹，通过与基于监视数据的FST组合进行重评分，以增强有效呼号线素。
• 监视FST由雷达数据中所有当前活跃的呼号构建，且考虑了所有可能的语音扩展（例如，'DLH5KX'扩展为'luftansa five kilo x-ray'）。
• 两种方法结合使用以获得最佳性能，混合方法在多种测试集上均表现出更优结果。
• 系统使用加权有限状态转换器（WFST）高效处理动态上下文集成，同时保持解码效率。

实验结果

研究问题

• RQ1 能否利用实时空中监视数据提升ATC语音中航空器呼号的识别准确率？
• RQ2 使用雷达数据对呼号线素进行动态增强的方法与传统ASR解码相比，在WER和呼号识别准确率方面表现如何？
• RQ3 G-boosting与轨迹重评分的结合对呼号识别的整体ASR性能有何影响？
• RQ4 所提出的方法在不同音频质量水平和录音环境下的鲁棒性如何？
• RQ5 增强的呼号码数量在多大程度上影响识别准确率及误报风险？

主要发现

• G-boosting与轨迹重评分的结合相比基线系统，使呼号识别准确率提升了28.4%的绝对值。
• 表现最佳的方法使呼号的词错误率（WER）相对降低最高达74.2%，显示出显著的鲁棒性提升。
• 即使每句话中最多有29个活跃呼号，系统仍保持高准确率，表明其具备良好的可扩展性与对增强n-gram数量增加的鲁棒性。
• 在多种测试集（包括LiveATC（音质较低）和Malorca（音质较高）的录音）中，方法均实现一致的性能提升，表明其具有强大的泛化能力。
• G-boosting方法因动态FST重新组合导致内存使用量较高，但推理速度优于需要额外重评分步骤的轨迹重评分方法。
• 使用真实呼号的最优性能始终更优，但使用完整监视数据的系统表现接近最优，验证了该方法在实际应用中的可行性。