[논문 리뷰] Improving callsign recognition with air-surveillance data in air-traffic communication

Iuliia Nigmatulina, Rudolf Braun외 2명|arXiv (Cornell University)|2021. 08. 27.

Speech Recognition and Synthesis참고 문헌 18인용 수 9

한 줄 요약

이 논문은 실시간 항공감시 데이터를 음성인식(ASR) 디코딩 과정에 통합하여 항공교통통제(ATC) 음성에서 비행기 호출부호 인식을 동적으로 향상시키는 방법을 제안한다. G-보정(G-boosting, 동적 언어모델 가중치 조정) 및 호출부호 n-그램 보정을 통한 레이티스 재평가(lattice rescoring)의 두 가지 방법을 사용하여, 호출부호 인식 정확도가 28.4%p 향상되고, 최대 74.2%의 상대적 WER 감소를 달성하여, 안전에 중대한 영향을 미치는 통신의 신뢰성을 크게 향상시킨다.

ABSTRACT

Automatic Speech Recognition (ASR) can be used as the assistance of speech communication between pilots and air-traffic controllers. Its application can significantly reduce the complexity of the task and increase the reliability of transmitted information. Evidently, high accuracy predictions are needed to minimize the risk of errors. Especially, high accuracy is required in recognition of key information, such as commands and callsigns, used to navigate pilots. Our results prove that the surveillance data containing callsigns can help to considerably improve the recognition of a callsign in an utterance when the weights of probable callsign n-grams are reduced per utterance. In this paper, we investigate two approaches: (1) G-boosting, when callsigns weights are adjusted at language model level (G) and followed by the dynamic decoder with an on-the-fly composition, and (2) lattice rescoring when callsign information is introduced on top of lattices generated using a conventional decoder. Boosting callsign n-grams with the combination of two methods allowed us to gain 28.4% of absolute improvement in callsign recognition accuracy and up to 74.2% of relative improvement in WER of callsign recognition.

연구 동기 및 목표

• 소음, 발음, 음성 변동성으로 인해 발생하는 항공교통통제(ATC) 통신에서의 높은 호출부호 인식 오류율을 해결하기 위해.
• 항공기 식별 및 항법에 핵심적인 역할을 하는 핵심 ATC 명령, 특히 호출부호의 인식 정확도를 향상시키기 위해.
• 현재 활성화된 호출부호를 포함한 실시간 항공감시 데이터를 ASR 디코딩 과정에 통합하여, 유효하고 범위 내의 호출부호 인식을 향상시키기 위해.
• G-보정(G-boosting, 문법 수준의 가중치 조정)과 레이티스 재평가(lattice rescoring, 후처리 보정)의 두 가지 동적 통합 방법의 효과를 평가하기 위해.
• 도메인 내 언어모델이나 사전 문법 애너테이션 없이도 맥락 기반 레이더 데이터가 ASR 성능을 상당히 향상시킬 수 있음을 입증하기 위해.

제안 방법

• G-보정은 현재 레이더에 등록된 활성 호출부호 기반으로 언어모델(G) 내 호출부호 n-그램의 확률을 동적으로 조정함으로써, 해당 n-그램의 가중치를 조정한다.
• 수정된 G.fst는 유한상태변환기(FST)를 사용하여 실시간으로 디코딩 그래프와 조합되며, 각 음성에 대해 실시간으로 적응 가능하다.
• 레이티스 재평가에서는 기준 ASR 시스템에서 생성된 단어 레이티스를 다시 평가하며, 유효한 호출부호 n-그램을 강조하는 감시 기반 FST와 조합한다.
• 감시 FST는 레이더 데이터에 포함된 모든 현재 활성 호출부호를 기반으로 구성되며, 가능한 모든 청각적 변환(예: 'DLH5KX' → '루프타나파이브킬로엑스레이')를 고려한다.
• 두 방법을 조합하여 최고의 성능을 달성하며, 하이브리드 접근 방식은 다양한 테스트 세트에서 뛰어난 성능을 보였다.
• 가중치가 부여된 유한상태변환기(WFST)를 사용하여 동적 맥락 통합을 효율적으로 처리하고, 디코딩 효율성을 유지한다.

실험 결과

연구 질문

• RQ1 실시간 항공감시 데이터를 활용하여 ATC 음성에서 비행기 호출부호 인식 정확도를 향상시킬 수 있는가?
• RQ2 레이더 데이터를 활용한 호출부호 n-그램의 동적 보정은 기존의 ASR 디코딩 방식에 비해 WER와 호출부호 인식 정확도 측면에서 어떻게 비교되는가?
• RQ3 G-보정과 레이티스 재평가를 조합했을 때 전체 ASR 성능, 특히 호출부호 인식에 어떤 영향을 미치는가?
• RQ4 다양한 음질 수준과 녹음 환경에서 제안된 방법의 강건성은 어떠한가?
• RQ5 보정되는 호출부호의 수가 인식 정확도와 잠재적 오진 확률에 어떤 영향을 미치는가?

주요 결과

• G-보정과 레이티스 재평가의 조합은 기준 시스템 대비 호출부호 인식 정확도에서 28.4%p의 절대적 향상을 달성했다.
• 최고의 성능을 보인 방법은 호출부호의 단어오류율(WER)을 최대 74.2% 상대적으로 감소시켜 뛰어난 강건성 향상을 입증했다.
• 최대 29개의 활성 호출부호가 동시에 존재하는 상황에서도 높은 정확도를 유지하여, n-그램 보정의 확장성과 내구성을 입증했다.
• LiveATC(낮은 품질)와 Malorca(높은 품질)에서의 다양한 테스트 세트에서 일관된 향상이 관찰되어 강력한 일반화 능력을 보였다.
• G-보정 방법은 동적 FST 재조합으로 인해 더 높은 메모리 사용을 보였지만, 추가 재평가 단계가 필요 없는 레이티스 재평가보다 더 빠른 추론 속도를 보였다.
• 참고 기준값(오라클 성능)은 항상 더 높았지만, 전체 감시 데이터를 사용한 시스템도 매우 유사한 성능을 달성하여, 제안된 방법의 실용적 타당성을 입증했다.