[論文レビュー] Automatic Speech Recognition Benchmark for Air-Traffic Communications

Juan Zuluaga-Gómez, Petr Motlíček+3 more|arXiv (Cornell University)|Jun 18, 2020

Speech Recognition and Synthesis参考文献 28被引用数 5

ひとこと要約

本論文は、6つのデータベースにまたがる170時間以上のドメイン内ATC音声データを用いて、航空交通管制通話における最先端のASRベンチマークを提示する。多様な発音の訓練とバイトペア符号化（BPE）を採用することで、語誤り率（WER）が著しく低減され、プラハデータセットでは5.0%のWERを達成し、4つのテストセット平均で7.75%のWERを記録した。特に1つのデータセットではBPEを用いることで相対的に35%の改善が得られた。

ABSTRACT

Advances in Automatic Speech Recognition (ASR) over the last decade opened new areas of speech-based automation such as in Air-Traffic Control (ATC) environment. Currently, voice communication and data links communications are the only way of contact between pilots and Air-Traffic Controllers (ATCo), where the former is the most widely used and the latter is a non-spoken method mandatory for oceanic messages and limited for some domestic issues. ASR systems on ATCo environments inherit increasing complexity due to accents from non-English speakers, cockpit noise, speaker-dependent biases, and small in-domain ATC databases for training. Hereby, we introduce CleanSky EC-H2020 ATCO2, a project that aims to develop an ASR-based platform to collect, organize and automatically pre-process ATCo speech-data from air space. This paper conveys an exploratory benchmark of several state-of-the-art ASR models trained on more than 170 hours of ATCo speech-data. We demonstrate that the cross-accent flaws due to speakers' accents are minimized due to the amount of data, making the system feasible for ATC environments. The developed ASR system achieves an averaged word error rate (WER) of 7.75% across four databases. An additional 35% relative improvement in WER is achieved on one test set when training a TDNNF system with byte-pair encoding.

研究の動機と目的

• ASRシステムの耐障害性を高めるために、大規模かつトランスクリプト済みのATC音声データベースが不足しているという深刻な課題を解決すること。
• 航空交通管制通話における低語誤り率を実現するための最先端の深層ニューラルネットワーク（DNN）アーキテクチャおよび学習戦略を評価すること。
• 異言語発音の訓練とサブワードトークン化（BPE）が、未知語（OOV）語や発音のばらつきに対処する上で果たす影響を調査すること。
• 多様な発音とフレーズ体系を有する複数のテストセットにおいて、ATC ASRの新たなパフォーマンスベースラインを確立すること。

提案手法

• 6つの異なるデータベースから得た170時間以上のドメイン内ATC音声データを用いて、TDNNF、CNN+TDNNF、BPEベースのモデルを含む複数のDNNアーキテクチャを学習した。
• ドメイン外（OOD）コーパスで事前学習を行い、その後ドメイン内ATCデータで微調整することでトランスファー学習を適用し、一般化性能を向上させた。
• 語誤り率（WER）を最適化するため、エンドツーエンド音声モデルとしてラティスフリー最大相互情報量（LF-MMI）学習を採用した。
• 未知語（OOV）語の表現と、非ネイティブ発音や希少語への耐性向上のため、バイトペア符号化（BPE）を用いた。
• 複数の学習データセット（Tr1+Tr2）を統合することで、データの多様性を高め、特に英語以外の発音に対してWERを低減した。
• n-gram言語モデル（4-gramおよび6-gram）と語彙ベースのBPEを用いて、デコード精度を向上させた。

実験結果

リサーチクエスチョン

• RQ1 多様で異言語発音を含むATC音声データで学習することで、単一発音ベースラインと比較してWERが著しく低減するか？
• RQ2 ドメイン外（OOD）コーパスからのトランスファー学習は、限られたドメイン内ATCデータに対してASR性能をどの程度向上させるか？
• RQ3 サブワードトークン化（BPE）は、語レベルトークン化と比較して、ATC通話における未知語（OOV）語や非ネイティブ発音の処理にどの程度優れているか？
• RQ4 モデルアーキテクチャ（例：TDNNF 対 CNN+TDNNF）の違いが、発音が異なる複数のATCテストセットにおけるWERに与える影響は何か？
• RQ5 Pwrapのようなハイブリッドフレームワークは、ATCアプリケーションにおけるASR性能をさらに向上させることができるか？

主な発見

• 提案されたASRシステムは、多様な発音を有する4つのテストセットで平均7.75%の語誤り率（WER）を達成し、優れた一般化性能を示した。
• 統合学習データセット（Tr1+Tr2）を用いることで、ウィーンとプラハのデータセットでは、それぞれ29.8%および37.9%の相対的WER低減が達成された。
• CNN+TDNNFモデルはプラハデータセットで5.0%のWERを達成し、TDNNFベースラインと比較して3.8%の相対的改善を示した。
• バイトペア符号化（BPE）は、語ベースモデルと比較して削除誤りを5倍低減した。これは主に未知語（OOV）語の処理が優れていることに起因し、特に非英語語彙に対して顕著であった。
• トランスファー学習により、ドメイン外（OOD）で事前学習したモデルから微調整した場合、ウィーンデータセットで10%の相対的WER改善が得られた。
• BPEベースのモデルは、外国語語彙において語ベースモデルを上回った。これは、語彙設計におけるより優れた文字レベル一般化に起因すると考えられる。