[論文レビュー] SAN-M: Memory Equipped Self-Attention for End-to-End Speech Recognition

Zhifu Gao, Shiliang Zhang+2 more|arXiv (Cornell University)|May 21, 2020

Speech Recognition and Synthesis参考文献 28被引用数 9

ひとこと要約

本稿では、自己注意機構とDFSFMメモリブロックを統合したメモリ搭載自己注意機構SAN-Mを提案する。この機構により、端末間音声認識における長距離依存関係のモデリングが向上する。深層融合の形で1つのサブ層に統合された本手法は、SOTA性能を達成し、外部言語モデルを用いないAISHELL-1でCERを6.46%まで低下させ、20,000時間分の中国語音声認識タスクにおいても、Transformerベースラインを10%以上上回る性能を示した。

ABSTRACT

End-to-end speech recognition has become popular in recent years, since it can integrate the acoustic, pronunciation and language models into a single neural network. Among end-to-end approaches, attention-based methods have emerged as being superior. For example, Transformer, which adopts an encoder-decoder architecture. The key improvement introduced by Transformer is the utilization of self-attention instead of recurrent mechanisms, enabling both encoder and decoder to capture long-range dependencies with lower computational complexity.In this work, we propose boosting the self-attention ability with a DFSMN memory block, forming the proposed memory equipped self-attention (SAN-M) mechanism. Theoretical and empirical comparisons have been made to demonstrate the relevancy and complementarity between self-attention and the DFSMN memory block. Furthermore, the proposed SAN-M provides an efficient mechanism to integrate these two modules. We have evaluated our approach on the public AISHELL-1 benchmark and an industrial-level 20,000-hour Mandarin speech recognition task. On both tasks, SAN-M systems achieved much better performance than the self-attention based Transformer baseline system. Specially, it can achieve a CER of 6.46% on the AISHELL-1 task even without using any external LM, comfortably outperforming other state-of-the-art systems.

研究の動機と目的

• 端末間音声認識における自己注意機構とDFSFMメモリブロックの長距離依存関係モデリングの限界を解消すること。
• 自己注意機構のグローバルモデリングとDFSFMの局所的でスタックされたメモリ学習の相補性を調査すること。
• 両機構を1つのサブ層に統合した統一的で効率的なアーキテクチャを設計し、性能を向上させること。
• 提案されたSAN-M機構を公開および産業スケールの中国語音声認識ベンチマークで評価すること。
• SAN-Mが外部言語モデルに依存せずにSOTA性能を達成できることを示すこと。

提案手法

• SAN-Mは、Transformerエンコーダおよびデコーダの基本サブ層内で、自己注意機構とDFSFMメモリブロックを深層融合の形で統合する。
• 自己注意機構は、入力系列からのクエリ、キー、バリューを用いて文脈表現を計算し、グローバルな長距離モデリングを可能にする。
• DFSFMメモリブロックは、時間遅延を伴う全結合層の系列を通じて順序特徴を処理し、局所的かつ階層的な長期依存関係を捉える。
• 自己注意とDFSFMの出力を連結し、最終出力としての特徴を生成するための投影層を通過させることで、グローバルおよび局所的パターンの共同学習を実現する。
• ラベルスムージングとドロップアウト正則化を用いた交差エントロピー損失関数に基づき、エンドツーエンドでモデルを学習する。
• 実験では、LFR特徴処理、SpecAugmentデータオーグメンテーション、およびNoam学習率スケジューリングを用いたOpenNMTツールキットを採用した。

実験結果

リサーチクエスチョン

• RQ1 自己注意機構とDFSFMメモリブロックを効果的に統合することで、エンドツーエンド音声認識性能が向上するか？
• RQ2 自己注意機構とDFSFMの間には、長距離依存関係モデリングにおいて理論的および実験的に相補性があるか？
• RQ3 提案されたSAN-M機構は、大規模な中国語音声認識タスクにおいて、標準的な自己注意機構ベースのTransformerを上回るか？
• RQ4 SAN-Mは外部言語モデルに依存せずにSOTA性能を達成できるか？
• RQ5 モデルの深さと幅は、長時間および遠方音声データにおけるSAN-Mの性能向上にどのように影響するか？

主な発見

• AISHELL-1ベンチマークでは、外部言語モデルを一切使用しない状態で、SAN-Mは6.46%の文字誤り率（CER）を達成し、本タスクにおけるすべての先行SOTAシステムを上回った。
• AISHELL-1データセットにおいて、SAN-Mは自己注意機構ベースのTransformerベースラインに対して11.8%の相対的改善を達成した。
• 20,000時間分の産業スケール中国語音声認識タスクでは、SAN-Mは共通セットおよび遠方音声テストセットの両方で、Transformerベースラインを10%以上の相対的誤り率低減で上回った。
• 性能向上は特に遠方音声データで顕著であり、SAN-Mが長時間で困難な音声系列のモデリングに優れていることを示している。
• スリムで深いSAN-M構成が、モデルサイズの7%未満の増加で、遠方音声データで17%の相対的改善を達成した。
• 実験結果は、自己注意機構とDFSFMの間の理論的相補性が裏付けられており、両者ともに長距離依存関係モデリングの能力が互いに強化されていることを示している。