[論文レビュー] Weak-Attention Suppression For Transformer Based Speech Recognition

Yangyang Shi, Yongqiang Wang+6 more|arXiv (Cornell University)|May 18, 2020

Speech Recognition and Synthesis参考文献 26被引用数 5

ひとこと要約

本論文は、注意確率が低いものを学習したしきい値未満に設定することで0にし、再正規化することで、変換器ベースの自動音声認識（ASR）における低注意確率を抑制する動的スパarsity機構「弱注意力抑制（WAS）」を提案する。WASはストリーミングモデルにおいてLibriSpeechのテストクリーンで10%、テストオーザーで5.2%のWER低減を達成し、特にサイレントや連続する冗長フレームをフィルタリングすることで性能を向上させる。

ABSTRACT

Transformers, originally proposed for natural language processing (NLP) tasks, have recently achieved great success in automatic speech recognition (ASR). However, adjacent acoustic units (i.e., frames) are highly correlated, and long-distance dependencies between them are weak, unlike text units. It suggests that ASR will likely benefit from sparse and localized attention. In this paper, we propose Weak-Attention Suppression (WAS), a method that dynamically induces sparsity in attention probabilities. We demonstrate that WAS leads to consistent Word Error Rate (WER) improvement over strong transformer baselines. On the widely used LibriSpeech benchmark, our proposed method reduced WER by 10%$ on test-clean and 5% on test-other for streamable transformers, resulting in a new state-of-the-art among streaming models. Further analysis shows that WAS learns to suppress attention of non-critical and redundant continuous acoustic frames, and is more likely to suppress past frames rather than future ones. It indicates the importance of lookahead in attention-based ASR models.

研究の動機と目的

• 隣接フレームが強く相関しており、長距離依存性が弱い変換器ベースASRにおける冗長で重要なフレームの問題に対処する。
• ソフトマックス関数を変更せずに、注意メカニズムに動的スパarsityを導入することで、モデルの効率性と精度を向上させる。
• サイレントまたは冗長フレームへの注意を抑制することで、ストリーミングおよび非ストリーミングの変換器ベースASRモデルの性能を向上させる。
• 時間的位置ごとの抑制パターンを分析することで、注意メカニズムにおける先行読みの役割を調査する。
• 提案手法を用いて、LibriSpeechベンチマークでストリーミング変換器ベースASRの新たな最良成績を樹立する。

提案手法

• 各入力フレームの注意確率分布に基づいて、弱い注意ヘッドを特定するためのしきい値を動的に推定する。
• 推定されたしきい値未満のすべての注意確率を0にし、残りの確率を再正規化して合計が1になるようにする。
• すべてのヘッドおよび入力シーケンスにおいて、各マルチヘッド自己注意層内で抑制機構を適用する。
• 訓練中に勾配伝搬を保持するため、フレームおよびレイヤーごとに適応する微分可能しきい値推定戦略を用いる。
• ブロック処理およびメモリバンクを備えた非ストリーミングおよびストリーミング可能な変換器ベースASRモデルにWASを統合する。
• ソフトマックス注意メカニズムを維持しつつ、抑制によるスパarsityを導入する。これは、ソフトマックスをスパース活性化関数に置き換える手法とは異なり、標準的な注意メカニズムを保ったままである。

(a) wav

実験結果

リサーチクエスチョン

• RQ1 低注意確率の動的抑制は、音声認識タスクにおける変換器ベースASRの性能向上に寄与するか？
• RQ2 サイレントまたは冗長な音声フレームへの注意を抑制することで、一般化性能が向上し、WERが低減するか？
• RQ3 深層構造における下位層と上位層では、抑制パターンに顕著な違いがあるか？
• RQ4 過去と未来のコンテキストフレームにおける抑制に体系的な差異があり、これは先行読みの重要性に何を示唆するか？
• RQ5 WASは、モデルサイズの異なるさまざまなモデルにおいて、ストリーミングおよび非ストリーミングの変換器ベースASRモデルを一貫して改善できるか？

主な発見

• WASはストリーミング変換器ベースASRモデルにおいて、LibriSpeechテストクリーンで10.0%の相対的WER低減、テストオーザーで5.2%の低減を達成し、ストリーミングモデルにおける新たな最良成績を樹立した。
• この手法は、特に下位層で顕著に、サイレントおよび冗長な音声フレームへの注意を抑制した。
• 最初の変換器レイヤーでは、12番目のレイヤーと比較して約10倍の注意抑制が見られた。これは、下位層が微細な音声的詳細を処理していることを示している。
• 過去のコンテキスト（左）からの注意抑制が、未来のコンテキスト（右）よりも顕著に強く、特に深層レイヤーで顕著であった。これは、注意ベースASRにおける先行読みの重要性を強調している。
• 抑制機構は、非重要フレームへの注意を効果的に低減させつつ、意味のある長距離依存性を維持した。その結果、モデルのロバスト性が向上した。
• モデルサイズ（12層および24層）およびモデルのバリエーション（ストリーミングおよび非ストリーミング）にかかわらず、改善効果が一貫しており、広範な適用可能性が示された。

(b) layer 1