[論文レビュー] A Comparison of Modeling Units in Sequence-to-Sequence Speech Recognition with the Transformer on Mandarin Chinese

Shiyu Zhou, Linhao Dong+2 more|ArXiv.org|May 16, 2018

Speech Recognition and Synthesis参考文献 17被引用数 12

ひとこと要約

この論文は、HKUSTデータセットを用いた中国語音声認識（ASR）における、トランスフォーマーに基づくシーケンス・ツー・シーケンスモデルを用いて、CI-フォネム、音節、語、サブワード、文字の5つのモデリングユニットを評価している。文字ベースのモデルは、手作業で作成された語彙や外部言語モデルを一切使用せずに、26.64%という新しいSOTA（最良の結果）のCERを達成した。これは、先行手法よりも相対誤差を4.8%削減した結果である。

ABSTRACT

The choice of modeling units is critical to automatic speech recognition (ASR) tasks. Conventional ASR systems typically choose context-dependent states (CD-states) or context-dependent phonemes (CD-phonemes) as their modeling units. However, it has been challenged by sequence-to-sequence attention-based models, which integrate an acoustic, pronunciation and language model into a single neural network. On English ASR tasks, previous attempts have already shown that the modeling unit of graphemes can outperform that of phonemes by sequence-to-sequence attention-based model. In this paper, we are concerned with modeling units on Mandarin Chinese ASR tasks using sequence-to-sequence attention-based models with the Transformer. Five modeling units are explored including context-independent phonemes (CI-phonemes), syllables, words, sub-words and characters. Experiments on HKUST datasets demonstrate that the lexicon free modeling units can outperform lexicon related modeling units in terms of character error rate (CER). Among five modeling units, character based model performs best and establishes a new state-of-the-art CER of $26.64\%$ on HKUST datasets without a hand-designed lexicon and an extra language model integration, which corresponds to a $4.8\%$ relative improvement over the existing best CER of $28.0\%$ by the joint CTC-attention based encoder-decoder network.

研究の動機と目的

• シーケンス・ツー・シーケンスモデルを用いた中国語ASRにおける、異なるモデリングユニットの影響を調査すること。
• 語彙依存型のユニット（例：CI-フォネム、音節）と比較して、語彙フリーのモデリングユニット（例：文字、サブワード）が、エンド・ツー・エンドASRで優れた性能を発揮するかどうかを特定すること。
• HKUST中国語ASRデータセットにおいて、トランスフォーマー・アーキテクチャを用いた文字レベルのモデリングの性能を評価すること。
• 手作業で作成された語彙や外部言語モデルに依存しない、文字誤字率（CER）における新しいSOTA結果を確立すること。

提案手法

• エンド・ツー・エンドのシーケンス・ツー・シーケンス音声認識に適した、マルチヘッドアテンションを備えたトランスフォーマーに基づくエンコーダ・デコーダアーキテクチャを採用する。
• 5つのモデリングユニットを評価：文脈独立フォネム（CI-フォネム）、音節（トーン付きピンイン）、語、サブワード（バイトペアエンコーディングによる生成）、文字。
• OOV（未知語）の問題を軽減し、一般化性能を向上させるために、サブワードユニットはバイトペアエンコーディング（BPE）を用いて生成する。
• 速度変更によるデータ拡張を施した上で、HKUST中国語音声認識データセット上でモデルをエンド・ツー・エンドで学習する。
• 性能は文字誤字率（CER）を用いて評価され、全5つのモデリングユニット間で比較される。
• 最も優れた性能を示したモデルは、文字レベルのユニットを用い、外部言語モデルや語彙統合を一切用いずにSOTA性能を達成した。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーに基づくシーケンス・ツー・シーケンスモデルを用いた中国語ASRにおいて、語彙フリーのモデリングユニット（例：文字、サブワード、語）が、語彙依存型ユニット（例：CI-フォネム、音節）を上回る性能を発揮できるか。
• RQ2 HKUST中国語ASRデータセットにおいて、文字レベルのモデリングが、全評価ユニットの中で最高の性能を達成するか。
• RQ3 特に、CTC-アテンションの統合と別個の言語モデルに依存する既存のSOTAシステムと比較して、文字ベースのモデルの相対的性能向上はどの程度か。
• RQ4 CERと一般化性能の観点から、サブワードユニット（BPE）の性能は、文字レベルのモデリングと比較してどうか。
• RQ5 手作業で作成された発音語彙が不要な状態で、トランスフォーマーに基づくモデルが中国語ASRでSOTAの結果を達成できるか。

主な発見

• 文字ベースのトランスフォーマー・モデルは、HKUSTデータセットにおいて、26.64%という新しいSOTAのCERを達成した。これは、他のすべてのモデリングユニットを上回った。
• 文字レベルのモデルは、外部RNN言語モデルを併用したCTC-アテンション統合モデルが達成した28.0%という過去の最高結果と比較して、相対誤差を4.8%削減した。
• サブワードモデル（BPE）はCER 27.26%を達成し、語レベルのモデリング（27.42%）を上回ったが、文字レベルのモデリングよりわずかに劣った。
• 語彙フリーのモデリングユニット（文字、サブワード、語）は、語彙依存型ユニット（CI-フォネム、音節）を一貫して上回り、手作業で作成された語彙を排除する可能性を裏付けた。
• 文字ベースのモデルは、CD状態を用いたハイブリッドLSTM-HMMシステムと比較して、CERを13.4%相対的に低減した。これは、エンド・ツー・エンドのトランスフォーマー・アプローチの優位性を示している。
• 結果から、文字レベルのモデリングが、トランスフォーマーに基づくモデルにおいて中国語ASRに特に適しており、外部言語モデルや語彙なしで高い性能を発揮できることを示している。