[论文解读] ATCO2 corpus: A Large-Scale Dataset for Research on Automatic Speech Recognition and Natural Language Understanding of Air Traffic Control Communications

Juan Zuluaga-Gómez, Karel Veselý+14 more|arXiv (Cornell University)|Nov 8, 2022

Natural Language Processing Techniques被引用 14

一句话总结

本论文介绍了ATCO2语料库，这是一个大规模、公开可用的空中交通管制（ATC）通信数据集，包含4小时经人工转录和标注的语音、5,281小时的伪标注ATC音频，以及一个免费的1小时子集。该语料库支持鲁棒自动语音识别（ASR）和自然语言理解（NLU）的研究，基于BERT的模型在命名实体识别和说话人角色检测任务中表现出色，在仅使用伪标注数据的情况下，ASR任务也取得了具有竞争力的词错误率（WER）。

ABSTRACT

Personal assistants, automatic speech recognizers and dialogue understanding systems are becoming more critical in our interconnected digital world. A clear example is air traffic control (ATC) communications. ATC aims at guiding aircraft and controlling the airspace in a safe and optimal manner. These voice-based dialogues are carried between an air traffic controller (ATCO) and pilots via very-high frequency radio channels. In order to incorporate these novel technologies into ATC (low-resource domain), large-scale annotated datasets are required to develop the data-driven AI systems. Two examples are automatic speech recognition (ASR) and natural language understanding (NLU). In this paper, we introduce the ATCO2 corpus, a dataset that aims at fostering research on the challenging ATC field, which has lagged behind due to lack of annotated data. The ATCO2 corpus covers 1) data collection and pre-processing, 2) pseudo-annotations of speech data, and 3) extraction of ATC-related named entities. The ATCO2 corpus is split into three subsets. 1) ATCO2-test-set corpus contains 4 hours of ATC speech with manual transcripts and a subset with gold annotations for named-entity recognition (callsign, command, value). 2) The ATCO2-PL-set corpus consists of 5281 hours of unlabeled ATC data enriched with automatic transcripts from an in-domain speech recognizer, contextual information, speaker turn information, signal-to-noise ratio estimate and English language detection score per sample. Both available for purchase through ELDA at http://catalog.elra.info/en-us/repository/browse/ELRA-S0484. 3) The ATCO2-test-set-1h corpus is a one-hour subset from the original test set corpus, that we are offering for free at https://www.atco2.org/data. We expect the ATCO2 corpus will foster research on robust ASR and NLU not only in the field of ATC communications but also in the general research community.

研究动机与目标

• 解决空中交通管制（ATC）通信领域缺乏大规模标注数据集的问题。
• 通过发布一个全面且公开可访问的语料库，推动ATC领域鲁棒自动语音识别（ASR）和自然语言理解（NLU）的研究。
• 利用机器学习技术（包括自动转录和伪标注流水线）加速数据收集与预处理。
• 通过开源GitHub仓库提供可复现的ASR与NLU基线，包含训练脚本和数据准备脚本。
• 通过语音数据匿名化并以公共利益为数据收集依据，确保符合GDPR要求。

提出的方法

• ATCO2语料库通过全球志愿者‘数据提供者’网络收集，并使用定制化流水线进行音频预处理和自动转录。
• 一个‘数据标注者’社区使用SpokenData平台对4小时ATC语音生成黄金标准标注，包括命名实体（呼号、指令、数值、未命名短语）。
• ATCO2-PL-set语料库包含5,281小时未标注的ATC音频，附带自动转录、说话人轮次信息、信噪比估计值和语言检测得分。
• ATCO2-test-set-1h语料库是黄金标注数据中一个免费的1小时子集，托管于https://www.atco2.org/data。
• 基线模型基于BERT模型开发，用于命名实体识别（NER）和说话人角色检测，NER任务在3,000个语音片段上进行训练。
• ASR基线模型仅在伪标注的ATCO2-PL-set语料库上进行训练，在公开和私有基准测试中均取得了具有竞争力的词错误率（WER）。

实验结果

研究问题

• RQ1 仅使用伪标注的ATC语音大规模语料库，能否在无黄金标准转录的情况下实现具有竞争力的自动语音识别性能？
• RQ2 训练一个鲁棒的基于BERT的ATC通信命名实体识别系统，所需的最少标注数据量是多少？
• RQ3 基于BERT的模型能否有效从文本ATC语句中检测说话人角色（例如，ATCO与飞行员）？
• RQ4 自动化数据收集与预处理流水线在多大程度上能降低低资源领域中构建标注语音语料库的成本与时间？
• RQ5 在空中交通管制等敏感领域，如何实现符合GDPR要求的数据收集与匿名化？

主要发现

• 仅在伪标注的ATCO2-PL-set语料库上进行训练的ASR系统，在公开和私有ATC语音基准测试中均取得了具有竞争力的词错误率（WER）。
• 基于BERT的ATC通信命名实体识别系统，大约需要3,000个标注语音片段即可实现对呼号、指令和数值的有效检测。
• ATCO2-test-set-1h语料库（一个免费的1小时黄金标注数据子集）已公开发布，网址为https://www.atco2.org/data，供研究使用。
• ATCO2-PL-set语料库包含超过5,281小时的ATC音频，附带自动转录、说话人轮次信息和信噪比估计，支持大规模模型训练。
• 成功开发了基于BERT的说话人角色检测模型，证明了仅使用文本输入即可对语句来源（ATCO或飞行员）进行分类的可行性。
• 整个数据收集与标注流水线（包括自动转录和伪标注）已成功部署，并可通过开源GitHub仓库（https://github.com/idiap/atco2-corpus）实现复现。