[論文レビュー] Automatic Spoken Language Identification using a Time-Delay Neural Network

Benjamin Kepecs, Homayoon Beigi|arXiv (Cornell University)|Jan 1, 2022

Speech Recognition and Synthesis被引用数 2

ひとこと要約

本稿では、多言語ASRパイプラインを用いた自動 spoken language identification に、時間遅延ニューラルネットワーク（TDNN）に基づく手法を提案する。Kaldiベースのシステムによる言語固有のプレフィックスを付加した音素アラインメントを活用し、多数決投票により言語を予測する。スペイン語とアラビア語では高い正確性を達成し、フランス語とターキッシュ語では中程度の正確性を示した。

ABSTRACT

Closed-set spoken language identification is the task of recognizing the language being spoken in a recorded audio clip from a set of known languages. In this study, a language identification system was built and trained to distinguish between Arabic, Spanish, French, and Turkish based on nothing more than recorded speech. A pre-existing multilingual dataset was used to train a series of acoustic models based on the Tedlium TDNN model to perform automatic speech recognition. The system was provided with a custom multilingual language model and a specialized pronunciation lexicon with language names prepended to phones. The trained model was used to generate phone alignments to test data from all four languages, and languages were predicted based on a voting scheme choosing the most common language prepend in an utterance. Accuracy was measured by comparing predicted languages to known languages, and was determined to be very high in identifying Spanish and Arabic, and somewhat lower in identifying Turkish and French.

研究の動機と目的

• 既存のASRツールと多言語データを用いて、低リソースでエンドツーエンドのspoken language identificationシステムを開発すること。
• 閉集合状況下における言語分類の有効性を検証すること：言語プレフィックスの付加と音素アラインメント投票。
• 発音的およびプロソディック特性に差がある言語（アラビア語、スペイン語、フランス語、ターキッシュ語）を対象に、性能を評価すること。
• 最小限のアーキテクチャ変更でASRモデルを言語IDに適応可能かどうかを検討すること。
• リアルタイムのコードスイッチング検出応用への可能性を調査すること。

提案手法

• MediaSpeechデータセット上で、KaldiベースのTedlium TDNNモデルを微調整し、多言語音声認識用に最適化した。
• 言語名を音素に前置する独自の多言語言語モデルおよび発音語彙を構築した。
• トレーニング済みのASRシステムを用いて、テスト発話の音素アラインメントを生成した。
• 各発話におけるアラインメント音素の言語プレフィックスをもとに、多数決投票により言語を予測した。
• 複数のテストセットで、正解ラベルとの照合を用いた標準的な正確性指標で性能を評価した。
• 効率化とリアルタイムデプロイメントを目的として、アーキテクチャの簡略化および代替モデル（例：順方向ネットワーク）を検討した。

実験結果

リサーチクエスチョン

• RQ1 言語プレフィックスを付加した事前学習済みASRシステムは、spoken language identification に効果的に再利用可能か？
• RQ2 スペイン語、フランス語、ターキッシュ語など、言語的に多様な言語において、多数決ベースの言語予測手法の性能はどのように変動するか？
• RQ3 アフリカ系発音のフランス語やトゥニジアアラビア語のような、未学習の発音に、このシステムはどの程度一般化可能か？
• RQ4 音素レベルの言語タグを活用することで、この手法はリアルタイムのコードスイッチング検出に適応可能か？
• RQ5 モデルの簡略化は、低リソース環境でのデプロイメントに影響を及ぼす精度および推論速度に、どのように影響するか？

主な発見

• スペイン語とアラビア語の識別において高い正確性を達成しており、発音的およびプロソディック特徴が顕著に異なる言語に対して優れた性能を示した。
• フランス語とターキッシュ語では性能が低く、類似した音声体系やプロソディックパターンを有する言語の区別に課題があることを示唆した。
• 発音の変異に対してモデルは頑健であったが、特にアフリカ系発音のフランス語をテストした際は正確性が低下したが、依然としてフランス語の検出に有効であった。
• 音素に言語プレフィックスを付加し、音素アラインメントの多数決投票を用いることで、音声モデルの再トレーニングなしに言語分類が有効に実現された。
• TDNNアーキテクチャの簡略化により、トレーニング時間とリソース使用量を削減でき、コードスイッチング検出のような応用にリアルタイムデプロイメントが可能になった。
• タイムスタンプ付きの音素アラインメントを用いて発話内での言語プレフィックスの変化を特定することで、コードスイッチング検出への応用拡張が可能であると示された。