[論文レビュー] Contextual Semi-Supervised Learning: An Approach To Leverage Air-Surveillance and Untranscribed ATC Data in ASR Systems

Juan Zuluaga-Gómez, Iuliia Nigmatulina+5 more|arXiv (Cornell University)|Apr 8, 2021

Speech Recognition and Synthesis参考文献 29被引用数 6

ひとこと要約

本論文は、航空交通管制（ATC）通話におけるコールサイン認識を向上させるために、空港監視データを自動音声認識（ASR）学習に統合する文脈的半教師あり学習（SSL）フレームワークを提案する。リアルタイム監視データ内の語りかけられたコールサインからバイアス付きWFSTを構築し、SSL中に lattice 再スコアリングを適用することで、ノイズの多いテストセットで相対CA-WERが17.5%改善され、低リソースATC ASR状況下でも堅牢な性能向上を示した。

ABSTRACT

Air traffic management and specifically air-traffic control (ATC) rely mostly on voice communications between Air Traffic Controllers (ATCos) and pilots. In most cases, these voice communications follow a well-defined grammar that could be leveraged in Automatic Speech Recognition (ASR) technologies. The callsign used to address an airplane is an essential part of all ATCo-pilot communications. We propose a two-steps approach to add contextual knowledge during semi-supervised training to reduce the ASR system error rates at recognizing the part of the utterance that contains the callsign. Initially, we represent in a WFST the contextual knowledge (i.e. air-surveillance data) of an ATCo-pilot communication. Then, during Semi-Supervised Learning (SSL) the contextual knowledge is added by second-pass decoding (i.e. lattice re-scoring). Results show that `unseen domains' (e.g. data from airports not present in the supervised training data) are further aided by contextual SSL when compared to standalone SSL. For this task, we introduce the Callsign Word Error Rate (CA-WER) as an evaluation metric, which only assesses ASR performance of the spoken callsign in an utterance. We obtained a 32.1% CA-WER relative improvement applying SSL with an additional 17.5% CA-WER improvement by adding contextual knowledge during SSL on a challenging ATC-based test set gathered from LiveATC.

研究の動機と目的

• 手動でトランスクリプト化されたATC音声データの不足が、実運用における自動音声認識（ASR）システムの性能を制限するという問題に対処する。
• 空港監視データからの文脈的知識を活用することで、ATC通話における重要な識別子であるコールサインのASR精度を向上させる。
• 特に未学習または低リソース空港において、リアルタイムの文脈的情報を統合することで、半教師あり学習がどのように向上するかを検証する。
• コールサイン認識の性能をより的確に評価できるよう、新しい評価指標であるコールサイン単語誤り率（CA-WER）を導入・検証する。
• 本手法が多様な空港や困難な音響条件においてもスケーラブルであることを示す。

提案手法

• 各ATC発話に対して、OpenSky Networkの空港監視データから抽出した語りかけられたコールサインのn-gramシーケンスを用いて、バイアス付きWFSTを構築する。
• 第二段階のlattice再スコアリングを通じて、バイアス付きWFSTを半教師あり学習パイプラインに統合し、正しくないコールサインシーケンスを優先するようにデコードグラフを変更する。
• WFSTにおける割引パラメータを用いてバイアスの強さを制御し、最適値は経験的に決定される（例：最良性能を得るための5.0）。
• LiveATC、プラハ、ウィーン空港のノイズあり・ノイズなし録音を含む、複数のASRシステムおよびテストセットに本手法を適用する。
• 未トランスクリプト化されたVHF録音をSSLにおける仮ラベルデータとして活用し、デコード段階で空港監視データを用いて文脈的情報を統合する。
• 標準WERと提案されたCA-WER指標の両方を用いて結果を評価し、特にコールサイン認識の正確性に焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 トランスクリプト化されたデータが限られる低リソースATC環境において、空港監視データからの文脈的情報がASR性能を向上させられるか？
• RQ2 半教師あり学習中に文脈的情報を統合することで、単独のSSLよりもコールサイン認識の性能が向上するか？
• RQ3 本手法は、教師あり学習データに含まれない未学習空港に対しても効果を示すか？
• RQ4 標準WERよりも、ATC ASRシステムにおけるコールサイン認識性能の評価に適しているとされるコールサイン単語誤り率（CA-WER）は、より意味のある指標であるか？
• RQ5 多様なテストセットにおいて、コールサイン認識の最適性能を得るために必要なバイアス付きWFSTの割引パラメータは何か？

主な発見

• 提案された文脈的SSLアプローチは、単独のSSLと比較して、liveatc_mixテストセットで相対CA-WERが17.5%改善され、CA-WERは39.88%から32.9%に低下した。
• プラハテストセットでは14%の相対CA-WER改善が観察され、最適な割引パラメータ（5.0）を用いることで、CA-WERは3.48%から2.99%に低下した。
• データ品質の不一致により一部のテストセットでWERが悪化したが、ウィーンテストセットでは依然として7.5%の相対CA-WER改善が得られ、堅牢性を示した。
• ノイズありおよびドメイン外のテストセットにおいて、本手法は単独のSSLを著しく上回り、実運用環境における強力な一般化性能を示した。
• コールサイン単語誤り率（CA-WER）指標は、ATC ASRにおけるコールサイン認識性能の評価において、標準WERよりも感受性が高く、より適切であることが判明した。
• バイアス付きWFSTの最適な割引パラメータは5.0であり、過学習を避けるためにシーケンス長とバイアス強度のバランスを取るのに適していた。