[論文レビュー] Understanding Self-Attention of Self-Supervised Audio Transformers

Shu-Wen Yang, Andy T. Liu+1 more|arXiv (Cornell University)|Jun 5, 2020

Speech Recognition and Synthesis参考文献 32被引用数 4

ひとこと要約

この論文は、自己教師あり音声トランスフォーマー（SATs）における自己注意メカニズムを、グローバル、ボトムアップ、対角線の3種類に注目ヘッドに分類することで分析し、音声素分類において対角線的注意が最も重要であることを明らかにした。可視化、グローバルネス（エントロピーに基づく）による重要度順位付け、およびプルーニング戦略を通じて、グローバルまたは長距離注目ヘッドを削除しても、特に発話レベルの話者認識において、精度に損なわれることなく性能向上と推論速度の向上が達成されることを示した。

ABSTRACT

Self-supervised Audio Transformers (SAT) enable great success in many downstream speech applications like ASR, but how they work has not been widely explored yet. In this work, we present multiple strategies for the analysis of attention mechanisms in SAT. We categorize attentions into explainable categories, where we discover each category possesses its own unique functionality. We provide a visualization tool for understanding multi-head self-attention, importance ranking strategies for identifying critical attention, and attention refinement techniques to improve model performance.

研究の動機と目的

• 自己教師あり音声トランスフォーマー（SATs）における自己注意ヘッドの機能的役割を理解すること。これは、ASRやその他のタスクにおける成功にもかかわらず、依然として未解明な分野である。
• マルチヘッド自己注意の解釈可能性ツールの開発、具体的には可視化、分類、重要度順位付けを含むこと。
• グローバルおよび長距離注目ヘッドが、音声的および話者表現学習において有益であるか、有害であるかを調査すること。
• 重要度の低い注目ヘッドの削除または制約により、SAT表現を最適化し、推論速度とモデル効率を向上させること。
• 標準的な重みベース順位付けを上回る、原則的かつ効果的な注目ヘッドプルーニング手法の確立

提案手法

• 自己注意ヘッドを3つの機能的タイプに分類する：グローバル（平坦な分布）、ボトムアップ（特定の音声素に集中）、対角線（±tの近隣または音声素境界に注目）。
• 注目マップを分析し、無視（neglect）や音声素境界との相関関係といった暗黙の操作を特定するための可視化ツールを開発する。
• 注目分布のエントロピーに基づくグローバルネス指標を提案し、ヘッドの重要度を順位付けする。この方法は、単純な注目重み順位付けを上回る。
• 2種類のプルーニング戦略を適用する：グローバルネスに基づくヘッドプルーニング、および固定範囲rに制限したスパンベースプルーニング。
• LibriSpeechデータセット上で、M3、M6、M9の3つのSATモデルを、連続マスキング長（C_num = 3, 6, 9）を変化させながら学習・評価し、さまざまな設定におけるロバストネスを評価する。
• ヘッドの行動を分析し、妥当性を検証するため、音声素関係マップ（PRMs）を用いる。その結果、注目重みが高いだけのヘッドよりも、「無視」操作を実行するヘッドがより重要であることが示された。

Figure 1: Attention maps of heads favored by G, V, D, visualized with the same utterance. (a)(c)(e) are average cases; (b)(d)(f) are extreme cases found by maximizing the metrics.

実験結果

リサーチクエスチョン

• RQ1 自己教師あり音声トランスフォーマーにおける、異なる種類の自己注意ヘッドが果たす機能的役割は何か？
• RQ2 SATsにおける注目メカニズムの暗黙の操作をどのように解釈・可視化できるか？
• RQ3 音声素分類や話者認識といった下流タスクにおいて、どの注目ヘッドが最も重要か？
• RQ4 グローバルまたは長距離注目ヘッドを削除することで、モデル性能と推論速度が向上するか？
• RQ5 プルーニングによる注目ヘッドの最適化は、表現品質の向上と計算コストの低減を同時に達成できるか？

主な発見

• 音声素分類において、対角線的注目ヘッドが最も重要であり、最初の24個の対角線ヘッドをプルーニングすると、性能低下が最大に現れる。
• ボトムアップおよびグローバル注目ヘッドは音声的構造に悪影響を及ぼしており、それらをプルーニングすることで音声素分類精度が向上する。
• グローバルネスに基づく重要度順位付けは、注目重みベース順位付けを上回る。これは、無視といった意味のある操作を効果的に特定できるからである。
• グローバルヘッドのプルーニングにより、音声素分類の性能が向上し、推論速度も向上する。特に発話レベルの話者認識において顕著である。
• スパンベースプルーニングの結果、長距離注目は音声表現にとって必須ではないことが示され、注目範囲を制限することで効率性が向上し、精度の損失は顕著にない。
• 著者らは、全タスクで性能に劣化を来さずに50％以上のヘッドプルーニングを達成し、顕著な効率性向上を示した。

Figure 2: Four images on the left side are plotted with the same utterance. (a) a block diagonal attention map. (b) a block diagonal map plotted with true phoneme boundaries. Two orange dotted lines show two examples of boundaries. (c) similarity matrix for (a). (d) similarity matrix for MFCCs. (e)