[論文レビュー] OLR 2021 Challenge: Datasets, Rules and Baselines

Binling Wang, Wenxuan Hu+8 more|arXiv (Cornell University)|Jul 23, 2021

Time Series Analysis and Forecasting参考文献 21被引用数 7

ひとこと要約

本論文は、OSS 2021チャレンジを提示し、制約あり・制約なしの言語識別（LID）および制約あり・制約なしの多言語音声認識（ASR）の4つのタスクを導入する。ベースラインシステムとして、LID用にPyTorchで実装されたTDNN x-vectorモデルと、ESPnetを用いたTransformerベースのエンドツーエンドASRモデルを提供している。ベースラインの結果は、ASRプログレスセットでCERが39.4%に達しており、ノイズ混在やチャネル変動のあるデータを処理する上で顕著な課題を示しており、多言語音声認識分野におけるさらなる研究の必要性を浮き彫りにしている。

ABSTRACT

This paper introduces the sixth Oriental Language Recognition (OLR) 2021 Challenge, which intends to improve the performance of language recognition systems and speech recognition systems within multilingual scenarios. The data profile, four tasks, two baselines, and the evaluation principles are introduced in this paper. In addition to the Language Identification (LID) tasks, multilingual Automatic Speech Recognition (ASR) tasks are introduced to OLR 2021 Challenge for the first time. The challenge this year focuses on more practical and challenging problems, with four tasks: (1) constrained LID, (2) unconstrained LID, (3) constrained multilingual ASR, (4) unconstrained multilingual ASR. Baselines for LID tasks and multilingual ASR tasks are provided, respectively. The LID baseline system is an extended TDNN x-vector model constructed with Pytorch. A transformer-based end-to-end model is provided as the multilingual ASR baseline system. These recipes will be online published, and available for participants to construct their own LID or ASR systems. The baseline results demonstrate that those tasks are rather challenging and deserve more effort to achieve better performance.

研究の動機と目的

• 言語識別および音声認識における新しい実用的チャレンジを提示することで、多言語音声認識の前進を図ること。
• チャネル変動、ノイズ環境、言語系統の多様性といった、現実世界の課題を多言語音声認識システムで解決すること。
• 研究およびベンチマークの支援を目的として、標準化されたデータセット、評価ルール、およびベースラインシステムを提供すること。
• 低リソースおよび多言語ASR・LIDシステムにおけるエンドツーエンドモデルおよびデータ拡張技術のイノベーションを促進すること。

提案手法

• LIDベースラインは、速度変更およびSpecAugmentを含むデータ拡張を用いて訓練された、拡張されたTDNN x-vectorモデルであり、PyTorchで実装されている。
• SpecAugmentは、スペクトログ램特徴量に対して時間歪み、周波数マスク、時間マスクを直接適用することで、耐性およびデータの多様性を向上させる。
• 多言語ASRベースラインは、全ターゲット言語で共有されるエンコーダ・デコーダアーキテクチャを有するTransformerベースのエンドツーエンドモデルを採用しており、文字単位出力を使用している。
• モデルは80次元のメルフィルタバンク特徴量に加え、3次元のピッチ特徴量を入力として使用し、最初の25,000イテレーションでウォームアップを実施した30エポック分の訓練を実施している。
• 言語に依存しないアーキテクチャにより、全言語が同じネットワークパラメータを共有し、多様な言語系統間での統合学習が可能になっている。
• ベースラインシステムおよびトレーニングレシピは、ESPnetツールキットおよびチャレンジ公式ウェブサイトを通じてコミュニティの利用および拡張を目的として公開されている。

実験結果

リサーチクエスチョン

• RQ1 現在のLIDおよびASRシステムは、ノイズ混在やチャネル変動のある状況下でも、制約あり・制約なしの多言語音声処理に対してどれほど効果的か。
• RQ2 1つの共有Transformerベースのエンドツーエンドモデルが、多様な東アジア言語系統にわたってどれほど頑健な性能を達成できるか。
• RQ3 速度変更やSpecAugmentといったデータ拡張技術は、低リソース多言語音声認識における一般化性能をどの程度向上させるか。
• RQ4 ノイズ混在またはチャネル不一致のある発話処理において、現在の多言語ASRシステムの性能ボトルネックは何か。
• RQ5 統一的で言語に依存しないモデルアーキテクチャは、1つのフレームワーク内で言語識別と音声認識の両方を効果的に処理できるか。

主な発見

• 多言語ASRベースラインはプログレスサブセットでCER 39.4%を達成しており、多言語認識分野におけるさらなる改善の余地が顕著に示されている。
• ベースラインシステムは特にノイズ混在およびチャネル変動のあるデータに対して苦戦しており、特定の言語でCERが高くなる傾向にあり、主な課題が浮き彫りになっている。
• LIDベースラインは、クロスチャネルLIDでC_avg 0.0239およびEER 2.47%を達成しており、優れたシステムですら現実世界の状況で困難を抱えることが示された。
• ホーケン、シャンハイアン、四川語など低リソース方言を含む14ヶ国の言語が含まれており、チャレンジの複雑さと実用的意義が高まっている。
• 本チャレンジのテストセットは、過去のエディションに比べてより多くの言語を含んでおり、多言語評価のスコープが拡大されている。
• ベースラインレシピおよびデータセットは公開されており、再現性を確保するとともに、多言語音声認識分野におけるさらなる研究を促進している。