[논문 리뷰] Automatic Speech Recognition Benchmark for Air-Traffic Communications

Juan Zuluaga-Gómez, Petr Motlíček외 3명|arXiv (Cornell University)|2020. 06. 18.

Speech Recognition and Synthesis참고 문헌 28인용 수 5

한 줄 요약

이 논문은 6개의 데이터베이스를 통해 총 170시간 이상의 도메인 내 ATC 음성 데이터를 사용하여 항공교통통제 통신을 위한 최신 기술 기준 ASR 벤치마크를 제시한다. 다양한 발음 체계로 훈련하고 BPE(바이트 페어 인코딩)를 적용할 경우 단어 오류률(WER)이 크게 감소하며, 프라하 데이터셋에서 5.0%의 WER를 기록하고 네 개의 테스트 세트 평균으로 7.75%의 WER를 달성한다. 이는 한 세트에서 BPE를 사용할 경우 35%의 상대적 개선 효과를 보였다.

ABSTRACT

Advances in Automatic Speech Recognition (ASR) over the last decade opened new areas of speech-based automation such as in Air-Traffic Control (ATC) environment. Currently, voice communication and data links communications are the only way of contact between pilots and Air-Traffic Controllers (ATCo), where the former is the most widely used and the latter is a non-spoken method mandatory for oceanic messages and limited for some domestic issues. ASR systems on ATCo environments inherit increasing complexity due to accents from non-English speakers, cockpit noise, speaker-dependent biases, and small in-domain ATC databases for training. Hereby, we introduce CleanSky EC-H2020 ATCO2, a project that aims to develop an ASR-based platform to collect, organize and automatically pre-process ATCo speech-data from air space. This paper conveys an exploratory benchmark of several state-of-the-art ASR models trained on more than 170 hours of ATCo speech-data. We demonstrate that the cross-accent flaws due to speakers' accents are minimized due to the amount of data, making the system feasible for ATC environments. The developed ASR system achieves an averaged word error rate (WER) of 7.75% across four databases. An additional 35% relative improvement in WER is achieved on one test set when training a TDNNF system with byte-pair encoding.

연구 동기 및 목표

• 강력한 ASR 시스템을 훈련하기 위한 대규모, 텍스트로 변환된 ATC 음성 데이터베이스의 부족 문제를 해결한다.
• ATC 통신에서 낮은 단어 오류률 성능을 달성하기 위해 최신 기술 기반의 딥 네트워크(DNN) 아키텍처와 훈련 전략을 평가한다.
• 다양한 발음 체계로 훈련하고 서브워드 토큰화(BPE)가 OOV(외부어) 단어 및 발음 변형을 다루는 데 미치는 영향을 조사한다.
• 다양한 발음 체계와 어휘 표현 방식을 가진 여러 테스트 세트에서 ATC ASR의 새로운 성능 기준을 설정한다.

제안 방법

• 6개의 다른 데이터베이스에서 확보한 170시간 이상의 도메인 내 ATC 음성 데이터를 바탕으로 TDNNF, CNN+TDNNF, BPE 기반 모델 등 다양한 DNN 아키텍처를 훈련시켰다.
• 도메인 외(OOD) 코퍼스에서 사전 훈련한 후 도메인 내 ATC 데이터로 미세조정하는 전이학습 기법을 적용하여 일반화 능력을 향상시켰다.
• WER 최적화를 위해 엔드 투 엔드 음성 모델링을 위한 레이티스-프리 최대 상호정보량(LF-MMI) 훈련 기법을 사용했다.
• OOV 단어 표현 및 비모국어 발음, 희귀어 처리에 유리하도록 바이트 페어 인코딩(BPE)을 적용했다.
• 다양한 데이터 세트(Tr1+Tr2)를 결합하여 데이터 다양성을 증가시키고, 특히 비영어권 발음 체계에서의 WER 감소를 도모했다.
• n-그램 언어 모델(4-그램 및 6-그램)과 어휘 기반 BPE를 활용해 디코딩 정확도를 향상시켰다.

실험 결과

연구 질문

• RQ1 다양하고 교차된 발음 체계를 가진 ATC 음성 데이터로 훈련할 경우, 단일 발음 체계 기반 베이스라인 대비 WER가 유의미하게 감소하는가?
• RQ2 제한된 도메인 내 ATC 데이터에서 OOD 코퍼스에서 사전 훈련한 모델을 전이학습으로 활용할 경우 ASR 성능 향상 정도는 어느 정도인가?
• RQ3 서브워드 토큰화(BPE)가 ATC 통신에서 OOV 단어 및 비모국어 발음 처리에 있어 단어 수준 토큰화와 비교해 어떤가?
• RQ4 모델 아키텍처(예: TDNNF 대비 CNN+TDNNF)가 다양한 발음 체계를 가진 ATC 테스트 세트에서 WER에 어떤 영향을 미치는가?
• RQ5 PKwrap과 같은 하이브리드 프레임워크가 ATC 응용 분야의 ASR 성능 향상에 기여하는가?

주요 결과

• 제안된 ASR 시스템은 다양한 발음 체계를 가진 네 개의 테스트 세트에서 평균 7.75%의 단어 오류률(WER)을 기록하여 뛰어난 일반화 능력을 입증했다.
• 결합된 데이터 세트(Tr1+Tr2)로 훈련한 결과, 비엔나와 프라하 데이터셋에서 각각 29.8%와 37.9%의 상대적 WER 감소를 달성했으며, 이는 이전 연구 대비 향상된 성능이다.
• CNN+TDNNF 모델은 프라하 데이터셋에서 5.0%의 WER를 기록하며 새로운 기준을 수립했으며, TDNNF 기준 대비 3.8%의 상대적 개선을 이뤘다.
• 바이트 페어 인코딩(BPE)은 단어 기반 모델 대비 삭제 오류를 5배 감소시켰으며, 주로 비영어어어 처리 능력 향상 덕분이었다.
• 전이학습을 통해 OOD 사전 훈련 모델에서 미세조정한 결과, 비엔나 데이터셋에서 WER가 10% 상대적으로 향상되었다.
• BPE 기반 모델은 외국어어어에서 단어 기반 모델보다 우수한 성능을 보였으며, 이는 어휘 설계 시 문자 수준의 일반화 능력 향상 덕분이었다.