[論文レビュー] A systematic comparison of grapheme-based vs. phoneme-based label units for encoder-decoder-attention models

Mohammad Zeineldeen, Albert Zeyer+4 more|arXiv (Cornell University)|May 19, 2020

Speech Recognition and Synthesis参考文献 49被引用数 5

ひとこと要約

この論文は、エンドツーエンド自動音声認識（ASR）のエンコーダーデコーダー・アテンションモデルにおいて、グラフムベースとフォノームベースのラベルユニットを体系的に比較している。フォノームベースのモデリング、特にフォノーム-BPEサブワードユニットを用いることで、Switchboardではグラフムベースのモデルをわずかに上回り、LibriSpeechではわずかに下回る性能を示した。これは、最適なパフォーマンスを発揮するためにはサブワードユニットと語彙制約の重要性を示している。

ABSTRACT

Following the rationale of end-to-end modeling, CTC, RNN-T or encoder-decoder-attention models for automatic speech recognition (ASR) use graphemes or grapheme-based subword units based on e.g. byte-pair encoding (BPE). The mapping from pronunciation to spelling is learned completely from data. In contrast to this, classical approaches to ASR employ secondary knowledge sources in the form of phoneme lists to define phonetic output labels and pronunciation lexica. In this work, we do a systematic comparison between grapheme- and phoneme-based output labels for an encoder-decoder-attention ASR model. We investigate the use of single phonemes as well as BPE-based phoneme groups as output labels of our model. To preserve a simplified and efficient decoder design, we also extend the phoneme set by auxiliary units to be able to distinguish homophones. Experiments performed on the Switchboard 300h and LibriSpeech benchmarks show that phoneme-based modeling is competitive to grapheme-based encoder-decoder-attention modeling.

研究の動機と目的

• エンコーダーデコーダー・アテンションモデルを用いたエンドツーエンドASRにおけるラベルユニット選択（グラフム対フォノーム）の影響を調査すること。
• サブワードユニット（BPE）をフォノームおよびグラフムに適用することで、ASRのロバストネスと一般化性能が向上するかを評価すること。
• 同音語の解消を促進しデコーディング精度を向上させるために、補助ラベルユニット（例：語末フォノーム、EOW記号）の役割を評価すること。
• 特にSwitchboard（300h）とLibriSpeech（960h）の異なるコーパスを比較し、データスケールがラベルユニットのパフォーマンスに与える影響を理解すること。
• 語彙外語や発音変動に対処する際、フォノームベースモデリングがグラフムベースモデリングを上回る一般化性能を示すかを特定すること。

提案手法

• 単一フォノーム、フォノーム-BPE、グラフム、グラフム-BPEを出力ラベルユニットとして用いたエンコーダーデコーダー・アテンションASRモデルを訓練した。
• サブワードユニットの最適化を図るため、フォノームおよびグラフムのシーケンスにバイトペア符号化（BPE）を適用し、語彙サイズを最適化した。
• 同音語の解消とデコーダー性能の向上を目的に、語末記号（EOW）および語末フォノーム（#）を導入した。
• 全ラベルユニットバージョンのデコーディング精度を向上させるために、語レベルのLSTM言語モデルと高度なWFSTベースのデコーダーを用いた。
• すべてのモデルを同じエポック数、同じハイパーパrameterで訓練し、Switchboard 300hおよびLibriSpeech 960hのデータセット上で実験を行った。
• 標準的なHub5'00、Hub5'01、RT'03テストセットにおけるWER（語誤り率）を用いて性能を評価し、ラベルタイプ間の公平な比較を確保した。

実験結果

リサーチクエスチョン

• RQ1 エンコーダーデコーダー・アテンションモデルにおけるグラフムベースとフォノームベースのラベルユニットの選択が、ASRパフォーマンスに与える影響は何か？
• RQ2 フォノーム-BPEサブワードユニットの使用は、単一フォノームよりもパフォーマンスを向上させるか？また、グラフム-BPEと比較するとどうなるか？
• RQ3 EOWや語末フォノームといった補助ラベルユニットの導入が、同音語の解消および全体のWERに与える影響は何か？
• RQ4 異なるラベルユニットを用いた場合、小規模データセット（Switchboard 300h）と大規模データセット（LibriSpeech 960h）におけるモデルパフォーマンスの違いは何か？
• RQ5 語彙外語や発音変動に対処する際、フォノームベースモデリングがグラフムベースモデリングを上回る一般化性能を示すか？

主な発見

• フォノーム-BPEサブワードユニットを用いたフォノームベースモデリングは、Hub5'00 Switchboardで8.7%のWERを達成し、言語モデルなしのグラフム-BPEモデル（10.1%）をわずかに上回り、言語モデルありでも8.9%と高い性能を示した。
• 語末記号（EOW）の導入により、単一フォノームモデルのWERは14.8%から14.4%に低下し、デコーディングにおける利点が確認された。
• 語末フォノーム（#）はEOWに比べて性能が悪く（WER 15.5%）、EOWが明示的な語末マーカーよりも効果的な解消戦略であることが示された。
• LibriSpeech 960hでは、10,000語彙のグラフム-BPEが、クリーンデータで3.15%、その他のデータで3.59%の最低WERを記録し、すべてのフォノームベースのバージョンを上回った。
• 単一フォノームモデルは、特にLibriSpeechにおいて顕著に過学習が進行しており、サブワードユニットが一般化性能を向上させることを示している。
• 5,000ユニットのフォノーム-BPEは、LibriSpeech開発クリーンデータで3.42%のWERを達成し、単一フォノーム（5.14%）を上回り、グラフム-BPEの性能に近づいた。