[論文レビュー] A Unified Transformer-based Framework for Duplex Text Normalization

Tuan Lai, Yang Zhang+3 more|arXiv (Cornell University)|Aug 23, 2021

Speech Recognition and Synthesis参考文献 24被引用数 7

ひとこと要約

本論文は、タスク固有のプレフィックスを用いて、1つのデュプレックスモデルで同時にテキスト正規化（TN）と逆テキスト正規化（ITN）を実行する統合型のTransformerベースのフレームワークを提案する。シーケンスタグ付きヘッドとシーケンス・ツー・シーケンス正規化器を組み合わせ、データ拡張を適用することで、英語およびロシア語の公開データセットにおいて最先端の性能を達成し、微調整なしで内部の英語会話データセットでも95％以上の文単位の正確性を達成した。

ABSTRACT

Text normalization (TN) and inverse text normalization (ITN) are essential preprocessing and postprocessing steps for text-to-speech synthesis and automatic speech recognition, respectively. Many methods have been proposed for either TN or ITN, ranging from weighted finite-state transducers to neural networks. Despite their impressive performance, these methods aim to tackle only one of the two tasks but not both. As a result, in a complete spoken dialog system, two separate models for TN and ITN need to be built. This heterogeneity increases the technical complexity of the system, which in turn increases the cost of maintenance in a production setting. Motivated by this observation, we propose a unified framework for building a single neural duplex system that can simultaneously handle TN and ITN. Combined with a simple but effective data augmentation method, our systems achieve state-of-the-art results on the Google TN dataset for English and Russian. They can also reach over 95% sentence-level accuracy on an internal English TN dataset without any additional fine-tuning. In addition, we also create a cleaned dataset from the Spoken Wikipedia Corpora for German and report the performance of our systems on the dataset. Overall, experimental results demonstrate the proposed duplex text normalization framework is highly effective and applicable to a range of domains and languages

研究の動機と目的

• 生産環境におけるテキスト正規化（TN）と逆テキスト正規化（ITN）のための別個モデルの導入に伴う技術的・保守的負荷を軽減すること。
• TNとITNを1つのニューラルフレームワークに統合し、システムの異種性と複雑さを低減すること。
• データ拡張と共有表現学習を活用して、多様なドメインや言語にわたる一般化性と性能を向上させること。
• Spoken Wikipediaから新たに作成したドイツ語データセットを含め、英語・ロシア語の公開データセットおよびドイツ語データセットにおけるフレームワークの有効性を実証すること。
• NeMo（NVIDIAのオープンソース会話型AIツールキット）に統合し、広範な採用を促進すること。

提案手法

• Transformerベースのタガーモデルが、BIOスタイルのラベル付けとタスクインジケータを用いて、入力テキスト内の意味的スパン（例：数字、日付、URL）を特定する二重エンコーダー構造。
• 各入力シーケンスにタスクインジケータ（例：'TN' または 'ITN'）をプレフィックスとして付加することで、同じモデルがTNとITNの両方を実行可能となる。
• T5 や mT5 をベースとするシーケンス・ツー・シーケンス正規化器が、特定されたスパンのみを処理し、それらを正規化形（例：'72' → 'seventy two'）に変換する。
• 稀な例やドメイン外の例に対しても耐性を高め、一般化性能を向上させるために、シンプルだが効果的なデータ拡張戦略を適用する。
• 効率性と多言語へのスケーラビリティを確保するため、事前学習モデルの蒸留版（例：distilled RoBERTa, mT5）を用いる。
• TNおよびITNの両タスクを同時にエンド・ツー・エンドで学習することで、共同最適化と共有表現学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 1つのニューラルモデルが、テキスト正規化と逆テキスト正規化の両タスクを効果的に処理できるか？
• RQ2 タスク固有のプレフィックスの使用が、言語をまたいでモデルの性能と一般化性能に与える影響はいかほどか？
• RQ3 データ拡張は、未観測ドメインにおけるゼロショットまたはフェイントショット性能をどの程度向上させるか？
• RQ4 専用の単一モデル（TN専用またはITN専用）に比べ、統合フレームワークが正確性と保守性の面で優れているか？
• RQ5 会話文のような低リソースまたはドメインシフトされたデータに対し、フレームワークの一般化性能はどの程度高いか？

主な発見

• 統合型デュプレックスシステムは、Google TNデータセットにおいて最先端の性能を達成し、英語では文単位の正確性が98.25％、ロシア語では93.02％を記録した。
• NLUアシスタントの内部英語会話データセットにおいて、微調整なしで95％以上の文単位の正確性を達成し、強力なゼロショット一般化性能を示した。
• データ拡張の導入により、すべての言語で一貫して性能向上が見られたが、英語の単一モデル（TN専用）ではわずかに性能が低下した。
• TNのテストインスタンス7,551件中、回復不能な誤りは11件（0.146％）にとどまり、そのうち7件がURLおよび数字関連の誤りであった。
• フレームワークはNeMoに正常に統合され、実用的かつ導入可能であることが確認された。
• 提案されたフレームワークは、専用の単一モデル（TN専用およびITN専用）を上回るか同等の性能を発揮しながら、システムの複雑さと保守コストを削減した。