[論文レビュー] Multi-Modal Data Augmentation for End-to-End ASR

Adithya Renduchintala, Shuoyang Ding+2 more|arXiv (Cornell University)|Mar 27, 2018

Speech Recognition and Synthesis参考文献 26被引用数 5

ひとこと要約

本稿では、大規模なテキストコーパスを活用して性能を向上させるために、音声入力と合成された記号的入力（例：発音記号の系列）を同時に学習するエンドツーエンドのASRフレームワーク、マルチモーダルデータ拡張（MMDA）を提案する。音声と記号的エンコーダーの間でアテンションおよびデコーダーを共有することで、MMDAはベースライン比で最大10％の相対的WER改善を達成した。特に、発音記号の持続時間に配慮したRep-Phonestream拡張法が顕著な効果を示した。

ABSTRACT

We present a new end-to-end architecture for automatic speech recognition (ASR) that can be trained using \emph{symbolic} input in addition to the traditional acoustic input. This architecture utilizes two separate encoders: one for acoustic input and another for symbolic input, both sharing the attention and decoder parameters. We call this architecture a multi-modal data augmentation network (MMDA), as it can support multi-modal (acoustic and symbolic) input and enables seamless mixing of large text datasets with significantly smaller transcribed speech corpora during training. We study different ways of transforming large text corpora into a symbolic form suitable for training our MMDA network. Our best MMDA setup obtains small improvements on character error rate (CER), and as much as 7-10\% relative word error rate (WER) improvement over a baseline both with and without an external language model.

研究の動機と目的

• 限られた音声データセットにおけるエンドツーエンドASRの性能向上を図ること。
• Librispeech や Fisher のような小さなベンチマークにおいて、エンドツーエンドモデルと従来のシステムとの間の性能格差を是正すること。
• テキストを発音特徴に類似する記号的入力に変換することで、ASRにおけるマルチモーダルデータ拡張を検討すること。
• デコーディング手順を変更せずに、外部言語モデルをMMDAフレームワークにスムーズに統合できることを可能にすること。
• 合成された記号的入力が、エンドツーエンドASRにおけるロバストネスと一般化性能を向上させるかどうかを調査すること。

提案手法

• MMDAモデルは、音声特徴用と記号的入力（例：文字列や発音記号列）用の2つの独立したエンコーダーを備え、両者で同じアテンションメカニズムとデコーダーを共有する。
• 記号的入力は3つの方法で生成される：Charstream（生の文字列）、Phonestream（G2Pを用いた発音記号）、Rep-Phonestream（実際の音声統計に基づく発音記号の持続時間モデリングを含む）。
• 拡張用エンコーダーは埋め込み済みの記号的トークンを処理し、共有アテンションメカニズムを通じて音声表現と融合する文脈表現を生成する。
• ペアドデータ（実際の音声-トランスクリプトペアと合成されたテキスト-合成入力ペア）を1:1の比率で用いて、マルチタスク学習を実施する。
• デコーディング段階で外部言語モデルとの統合が可能であり、アーキテクチャの変更なしにさらなる性能向上が可能である。
• 標準的なビームサーチやデコーディングパイプラインを変更せず、出力系列に対するクロスエントロピー損失を用いてエンドツーエンドで学習を行う。

(a)

実験結果

リサーチクエスチョン

• RQ1 大規模なテキストコーパスから得られる記号的入力が、限られた音声データと組み合わせることでエンドツーエンドASRの性能向上に寄与するか？
• RQ2 合成入力が実際の音声特徴にどれほど類似しているかが、ASR性能に与える影響は何か？
• RQ3 記号的入力を用いたマルチモーダルデータ拡張によって、非語彙的単語（例：'casino' が 'accino' と変換されるなど）を生じるエラーが減少するか？
• RQ4 外部言語モデルとMMDAを組み合わせることで、さらにWERとCERを改善できるか？
• RQ5 合成入力表現の選択（例：Charstream 対 Rep-Phonestream）が、モデルの一般化性能とエラーパターンに与える影響は何か？

主な発見

• Rep-Phonestream拡張法は、WSJ英語データセットにおいて、ベースライン比で2％の絶対的WER改善と10％の相対的WER改善を達成し、Charstream や Phonestream を上回った。
• WSJの開発・テストセットにおいて、MMDAモデルは無意味語エラーを25％削減した（ベースラインでは32.93％、MMDAでは20.25％）。これは、より優れた一般化性能を示している。
• 外部言語モデルを併用したRep-Phonestream MMDAシステムは、WSJの評価セットでCER 6.7％、WER 16.0％を達成し、ベースライン比で10％の相対的WER改善を達成した。
• イタリア語（Voxforge）およびスペイン語（HUB4）でも、Rep-Phonestreamを用いたMMDAは、それぞれ2.9ポイントおよび2.0ポイントのWER低下を達成し、言語を問わず一貫した向上が見られた。
• MMDAシステムは、誤った単語全体を有効な単語に置き換える傾向がある（例：'quota' → 'colors'）が、ベースラインは文字レベルの置換によって非語彙的単語を多く生成していた。
• MMDAとRNNLM再スコアリングの組み合わせにより、無意味語エラーは20.25％まで低下し、両手法の相乗効果が示された。

(b)