[論文レビュー] End-to-End Speech Recognition: A review for the French Language

Florian Boyer, Jean-Luc Rouas|arXiv (Cornell University)|Oct 18, 2019

Speech Recognition and Synthesis参考文献 30被引用数 7

ひとこと要約

本稿は、文字単位およびサブワード単位を用いたフランス語向けエンド・ツー・エンド自動音声認識（ASR）システムの評価を行い、CTC、アテンションベースのモデル、RNN-Transducer、ハイブリッドアーキテクチャを比較している。文字出力のRNN-Transducerが最良の性能を示し（CER 7.8%、WER 17.6%）、サブワード単位はフランス語の発音的曖昧さや同音異義語への耐性を高める。

ABSTRACT

Recently, end-to-end ASR based either on sequence-to-sequence networks or on the CTC objective function gained a lot of interest from the community, achieving competitive results over traditional systems using robust but complex pipelines. One of the main features of end-to-end systems, in addition to the ability to free themselves from extra linguistic resources such as dictionaries or language models, is the capacity to model acoustic units such as characters, subwords or directly words; opening up the capacity to directly translate speech with different representations or levels of knowledge depending on the target language. In this paper we propose a review of the existing end-to-end ASR approaches for the French language. We compare results to conventional state-of-the-art ASR systems and discuss which units are more suited to model the French language.

研究の動機と目的

• エンド・ツー・エンドASRモデルの性能をフランス語において評価し、音声ユニット表現の選択に焦点を当てる。
• CTC、アテンション、RNN-Transducerなどの序列変換モデルと、統合CTC-アテンション、アテンション強化RNN-Transducerなどのハイブリッドアーキテクチャを、誤り率および誤り分布の観点から比較する。
• 表記ユニット（文字対サブワード）が、無音の文字、同音異義語、アルゴー（スラング）といったフランス語の発音的・語彙的課題に与える影響を調査する。
• 言語モデルが、さまざまなアーキテクチャおよびユニットタイプにおいて誤り率低減にどの程度効果を発揮するかを評価する。
• 誤りパターンを文字レベルおよび語彙レベルで分析し、各モデルタイプがフランス語ASRにおいて有する強みと弱みを特定する。

提案手法

• 条件付き独立性の仮定とブランクトークンを用いた、時系列分類（CTC）による序列変換モデリング。
• エンコーダーとデコーダー状態間のソフトアライメントを用いたアテンションベースのデコード法。コンテキストベクトルはエンコーダー隠れ状態の重み付き和として計算される。
• RNN-Transducerは、CTC風の単調なアライメントと、出力依存性をモデル化する予測ネットワークを組み合わせ、CTCより優れた序列モデリングを実現する。
• ハイブリッドモデルとして、統合CTC-アテンションおよびアテンション拡張RNN-Transducerを導入。両アーキテクチャの利点を統合する。
• 外部言語モデルを併用する・しない状況を含め、文字単位およびサブワード単位を用いてフランス語ASRデータセットでモデルを学習する。
• 標準指標（文字誤り率（CER）、語誤り率（WER））および詳細な誤り分析（挿入、削除、置換）を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 CTC、アテンション、RNN-Transducer、ハイブリッドモデルの中から、フランス語ASRタスクで最も優れた性能を示すエンド・ツー・エンドASRアーキテクチャはどれか？
• RQ2 フランス語の発音的・語彙的複雑性をモデル化するにあたり、文字レベルとサブワードレベルの表現はどのように比較されるか？
• RQ3 言語モデルを追加することで、さまざまなエンド・ツー・エンドアーキテクチャにおける誤り低減効果はどの程度か？
• RQ4 フランス語ASRにおいて、誤り分布（挿入、削除、置換）は、モデルやユニットタイプによってどのように変化するか？
• RQ5 統合CTC-アテンションやアテンション拡張RNN-Transducerといったハイブリッドモデルは、フランス語固有の課題に対してどの程度の耐性向上を達成するか？

主な発見

• 文字出力のRNN-Transducerが、CER（7.8%）およびWER（17.6%）で最低を記録し、全指標において他のモデルを上回った。
• サブワード単位は、ほとんどのモデルで誤りを顕著に低減させ、特にフランス語の曖昧なパターン（同音異義語、無音の文字）の処理において顕著な改善効果を示した。
• 統合CTC-アテンションは、純粋なアテンションモデルに比べて置換誤りと挿入誤りを低減し、サブワード誤り率14.5%を記録。全手法中最も低かった。
• 言語モデルを追加したRNN-Transducerにアテンションモジュールを統合したモデルは、文字単位およびサブワード単位の両方で同等の性能を示し、ユニットタイプに依存しない強力な一般化能力を示した。
• 言語モデルは全体の誤り率を低減させたが、CTCモデルでは挿入誤りがやや増加（1.4% → 2.3%）、RNN-Transducer変種では削除誤りが上昇（4.1% → 4.3%）した。
• 誤りパターンは顕著に異なった：アテンションのみのモデルは挿入誤り（3.6%）と置換誤りが多かったが、CTCモデルは挿入誤りが少ない（1.4%）が削除誤りが多かった。ハイブリッドモデルはこれらのトレードオフを効果的にバランスさせた。