[論文レビュー] DFSMN-SAN with Persistent Memory Model for Automatic Speech Recognition

Zhao You, Dan Su+3 more|arXiv (Cornell University)|Oct 28, 2019

Speech Recognition and Synthesis参考文献 15被引用数 5

ひとこと要約

本稿では、自動音声認識（ASR）のための持続的メモリを備えたDFSMin-SANを提案する。深層フィードフォワード逐次メモリネットワーク（DFSMN）と自己注意ネットワーク（SAN）を組み合わせることで、長距離依存関係のモデリングを向上させる。2種類の持続的メモリ構造—キーバリュー型と入力埋め込みメモリ—を導入し、大規模なLVCSRタスクにおいてベースラインモデル比で最大11%の相対的CER低減を達成した。

ABSTRACT

Self-attention networks (SAN) have been introduced into automatic speech recognition (ASR) and achieved state-of-the-art performance owing to its superior ability in capturing long term dependency. One of the key ingredients is the self-attention mechanism which can be effectively performed on the whole utterance level. In this paper, we try to investigate whether even more information beyond the whole utterance level can be exploited and beneficial. We propose to apply self-attention layer with augmented memory to ASR. Specifically, we first propose a variant model architecture which combines deep feed-forward sequential memory network (DFSMN) with self-attention layers to form a better baseline model compared with a purely self-attention network. Then, we propose and compare two kinds of additional memory structures added into self-attention layers. Experiments on large-scale LVCSR tasks show that on four individual test sets, the DFSMN-SAN architecture outperforms vanilla SAN encoder by 5% relatively in character error rate (CER). More importantly, the additional memory structure provides further 5% to 11% relative improvement in CER.

研究の動機と目的

• 長期間の依存関係モデリングを改善するために、DFSMNと自己注意ネットワーク（SAN）を統合することで、自動音声認識（ASR）性能を向上させること。
• 全発話文脈を超えた情報が、ASR精度のさらなる向上に寄与するかどうかを調査すること。
• 入力系列とは独立してグローバルな文脈を保存する、新たな持続的メモリ構造を設計・評価すること。
• パラメータ増加を最小限に抑えて、キーバリュー型メモリと入力埋め込みメモリのASR性能向上効果を比較すること。
• 実世界の音声データを用いた大規模かつ多様なテストセットにおいて、提案アーキテクチャおよびメモリ機構の有効性を検証すること。

提案手法

• 効率性と長距離依存関係モデリングの両立を図るため、30層のDFSMNと3つのマルチヘッド自己注意サブレイヤーを統合したハイブリッドモデルアーキテクチャ、DFSMin-SANを提案する。
• 自己注意レイヤーに学習可能なキーバリュー変数を追加することで、入力系列とは独立してグローバルな文脈を保存する持続的メモリ機構を導入する。
• パラメータ数を削減しながら性能を維持するため、入力埋め込みと共有するメモリベクトルを有する改良型入力埋め込みメモリ構造を提案する。
• 安定な学習を実現するため、スケーリングドット積注意、残差接続、レイヤーナーミャライゼーション、ドロップアウトを用いたマルチヘッド自己注意を採用する。
• 勾配クリッピングを適用したCTC損失関数を用い、Kaldiツールキットを用いて8台のTesla P40 GPUでBMUF最適化によりモデルを学習する。
• 文字誤り率（CER）を主指標として、リーディング、チャット、スポーチアス、AISHELLの4つのテストセットで、両方のメモリタイプを評価する。

実験結果

リサーチクエスチョン

• RQ1 DFSMNと自己注意レイヤーを統合することで、純粋なSANまたはDFSMNモデルに比べてASR性能が向上するか？
• RQ2 発話全体の文脈を超えた持続的メモリの導入が、ASR精度に顕著な向上をもたらすか？
• RQ3 キーバリュー型メモリと入力埋め込みメモリという異なる持続的メモリ構造は、性能とパラメータ効率の観点でどのように比較できるか？
• RQ4 多様な音声特性を示す異なるテストセットにおいて、持続的メモリによる性能向上が一貫して有効であるか？
• RQ5 最小限の自己注意レイヤーを備えたハイブリッドDFSMin-SANアーキテクチャが、完全なSANエンコーダーよりも優れた性能を発揮し、計算コストを削減できるか？

主な発見

• DFSMin-SANモデルは、純粋なDFSMNおよび純粋なSANモデルを上回り、リーディングテストセットで34.4%の相対的CER低減を達成した。
• DFSMin-SANモデルに持続的メモリを追加することで、全テストセットで5〜11%の相対的CER低減が得られた。
• キーバリュー型メモリ構造は、ベースライン比でAISHELLテストセットで9.5%の相対的CER低減を達成した。
• 提案された入力埋め込みメモリ構造は、キーバリュー型メモリと同等の性能を発揮しながら、より少ないパラメータ数で実現され、よりコンactな設計となった。
• 持続的メモリベクトル数（64, 128, 256）の変更が性能にほとんど影響しないことから、この範囲内ではベクトル数に依存しない堅牢性が示された。
• すべての実験は10,000時間以上の学習データを用いて実施され、4つの異なるテストセットで一貫した結果が得られ、一般化性能が裏付けられた。