[論文レビュー] Transformer-based Models of Text Normalization for Speech Applications

Jae Hun Ro, Felix Stahlberg+2 more|arXiv (Cornell University)|Feb 1, 2022

Speech Recognition and Synthesis被引用数 8

ひとこと要約

この論文は、特に音声合成のための音声合成（TTS）に向けたテキスト正規化において、Transformerベースのモデルの性能を評価し、seq2seqおよび2段階アーキテクチャのバリエーションを比較している。主な発見は、2段階モデル内でのBERTエンコーダーのファインチューニングが最良の性能を示し、標準データセットでは文誤り率（SER）が1.42%、マニュアルデータセットでは5.59%まで低下した。これはRNNベースラインやvanilla Transformerを上回っている。

ABSTRACT

Text normalization, or the process of transforming text into a consistent, canonical form, is crucial for speech applications such as text-to-speech synthesis (TTS). In TTS, the system must decide whether to verbalize "1995" as "nineteen ninety five" in "born in 1995" or as "one thousand nine hundred ninety five" in "page 1995". We present an experimental comparison of various Transformer-based sequence-to-sequence (seq2seq) models of text normalization for speech and evaluate them on a variety of datasets of written text aligned to its normalized spoken form. These models include variants of the 2-stage RNN-based tagging/seq2seq architecture introduced by Zhang et al. (2019), where we replace the RNN with a Transformer in one or more stages, as well as vanilla Transformers that output string representations of edit sequences. Of our approaches, using Transformers for sentence context encoding within the 2-stage model proved most effective, with the fine-tuned BERT encoder yielding the best performance.

研究の動機と目的

• 音声応用、特に音声合成（TTS）におけるテキスト正規化のためのTransformerベースのアーキテクチャの有効性を評価すること。
• 事前学習モデル（例：BERT）が、学習から再訓練するか、標準Transformerを使用する場合と比較して性能を向上させるかどうかを調査すること。
• 実世界のテキスト正規化データセット上で、ワンパスseq2seq、編集ベース表現、2段階モデルといった異なるアーキテクチャ設計を比較すること。
• 表記的クラスのトークン化エラーが全体のシステム性能に与える影響を分析し、それらを軽減する方法を検討すること。
• 訓練データが限られている、もしくは参照エラーを含む場合に、ニューラルモデルが回復不能なエラーをどのように処理するかの限界を評価すること。

提案手法

• 最初の段階で表記的クラス（例：数字、日付）を分類し、2番目の段階でTransformerベースのseq2seqモデルを用いて正規化を行う2段階アーキテクチャを採用する。
• 元の2段階モデルにおけるRNNを、文脈表現のためのTransformerエンコーダーに置き換え、ファインチューニング済みおよびフリーズ済みBERTバージョンを評価する。
• 出力の完全な文字列と、元の文字列の置換を示すpos*トークンを用いた編集ベース表現の両方を試み、変更のない文字をコピーする必要を減らす。
• 標準的なクロスエントロピー損失とビームサーチ推論を用いてモデルを訓練し、自動生成（標準）および手動アノテーション（マニュアル）の2つのデータセットを用いる。
• 分類エラーの影響を分離して測定するために、ゴールデントークン化（手動で検証済みの表記的クラス境界）を用いる。
• 文誤り率（SER）を主な指標として用い、BERTのファインチューニング対比フリーズ、および入力表現タイプのアブレーションスタディを実施してモデル間の性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 Transformerベースのseq2seqモデルは、TTS応用におけるテキスト正規化でRNNベースのモデルと比較してどのように異なるか？
• RQ2 2段階正規化パイプラインに事前学習済みBERTエンコーダーを組み込むことで、学習から再訓練するか、標準Transformerを使用する場合と比較して性能が向上するか？
• RQ3 編集ベース表現と完全な文字列出力表現のどちらがモデルの頑健性と誤り率に与える影響が大きいのか？
• RQ4 表記的クラスのトークン化エラーが全体のシステム誤りに与える影響はどの程度で、ゴールデントークン化によって顕著にエラーを低減できるか？
• RQ5 高度なモデル（例：ファインチューニング済みBERT）を用いても、『7/8インチ』を『five eighth』と誤って分類するような回復不能なエラーは依然として顕在するのか？

主な発見

• 2段階モデル内でのBERTエンコーダーのファインチューニングが、標準データセットで1.42%、マニュアルデータセットで5.59%という最低の文誤り率を達成し、テストされたすべてのモデルを上回った。
• ゴールデン表記的クラストークン化を用いた2段階モデルでは、BERTエンコーダーを組み込むことで誤り率が61%低下した。これは、分類エラーが失敗の主要因であることを示している。
• vanillaワンパスTransformerモデルは、特に訓練データが限られている場合、希少な位置トークン（pos*）に十分に露出されていないため、性能が低かった。
• トークン化された入力と編集ベース表現を用いたモデルは、標準データセットで2.04%、マニュアルデータセットで5.65%のSERを達成し、中程度の性能を示したが、2段階BERTアプローチに比べて頑健性に欠けていた。
• 最良のモデルでさえ、『7/8 inch』を『five eighth』と誤って分類するような回復不能なエラーが継続的に発生しており、正規化における根本的な課題が残っていることを示している。
• 本研究は、自動生成データセットにおける参照エラー（例：'TIME' → 't i m e'）および手動アノテーションにおけるレーティングの不一致が、信頼できる評価やモデル改善の大きな障壁であることを確認した。