[論文レビュー] On the Usefulness of Self-Attention for Automatic Speech Recognition with Transformers

Shucong Zhang, Erfan Loweimi+2 more|arXiv (Cornell University)|Nov 8, 2020

Speech Recognition and Synthesis参考文献 28被引用数 4

ひとこと要約

この論文は、自動音声認識における上位のTransformerエンコーダー層における自己注意機構の必要性を調査している。上位の自己注意層をフィードフォワードネットワークに置き換え、対角性指標を導入することで、上位層では自然に局所的な注目が行われており、自己注意機構がここでは不要であることが判明した—その結果、性能に低下はなく、わずかな向上が得られた。

ABSTRACT

Self-attention models such as Transformers, which can capture temporal relationships without being limited by the distance between events, have given competitive speech recognition results. However, we note the range of the learned context increases from the lower to upper self-attention layers, whilst acoustic events often happen within short time spans in a left-to-right order. This leads to a question: for speech recognition, is a global view of the entire sequence useful for the upper self-attention encoder layers in Transformers? To investigate this, we train models with lower self-attention/upper feed-forward layers encoders on Wall Street Journal and Switchboard. Compared to baseline Transformers, no performance drop but minor gains are observed. We further developed a novel metric of the diagonality of attention matrices and found the learned diagonality indeed increases from the lower to upper encoder self-attention layers. We conclude the global view is unnecessary in training upper encoder layers.

研究の動機と目的

• 上位のTransformerエンコーダー層におけるグローバル自己注意機構が自動音声認識に不可欠であるかどうかを特定すること。
• Transformerにおけるグローバル自己注意機構の成功と、RNNベースのモデルにおけるモノトニック（局所的）注目機構による性能向上の間にある乖離を解明すること。
• エンコーダーの下位層から上位層にかけて、自己注意層が学習するコンテキスト範囲の変化を分析すること。
• 局所的・グローバルな注目行動を定量化するための、注目行列の対角性を測る新しい指標を開発すること。
• 自己注意層をフィードフォワード層に置き換えることで、性能に劣化を来さずにアーキテクチャの効率を向上させることを探索すること。

提案手法

• WSJおよびSwitchboardデータセット上で、上位層にフィードフォワード層、下位層に自己注意層を用いたTransformerモデルを訓練した。
• 入力系列における局所的・左から右への時間スパンに注目する割合を定量化するための新しい対角性指標を提案した。
• 各エンコーダー層におけるすべての注目ヘッドの平均対角性を計算し、注目パターンの変化を追跡した。
• 上位の自己注意層を異なる数だけフィードフォワード層に置き換えた後のモデル性能を比較した。
• 層の置き換え前後における注目行列の対角性トレンドを分析し、構造的安定性および注目行動の変化を評価した。

実験結果

リサーチクエスチョン

• RQ1 自動音声認識において、上位のTransformerエンコーダー層におけるグローバルコンテキストモデリング能力の自己注意機構は必要か？
• RQ2 Transformerエンコーダーの下位層から上位層にかけて、自己注意層の有効な受容fieldはどのように変化するか？
• RQ3 上位の自己注意層をフィードフォワード層に置き換えても、ASR性能が維持または向上するか？
• RQ4 グローバルなアクセスを持つにもかかわらず、上位層の自己注意ヘッドが局所的・左から右へのコンテキストに注目するよう学習する程度はどの程度か？
• RQ5 注目行列の対角性は、不要な自己注意層を特定するための信頼できる指標となるか？

主な発見

• 上位の自己注意層をフィードフォワード層に置き換えることで、WSJおよびSwitchboardで性能に低下はなく、わずかな向上が得られた。
• 注目行列の平均対角性は、エンコーダーの下位層から上位層にかけて増加しており、上位層では局所的・左から右への注目が強くなっていることが示唆された。
• 12層のエンコーダーにおける第9および第10層は、自己注意機構を必要としており、フィードフォワード層に置き換えると誤差率が上昇した。
• 最上位の2層（第11および第12層）はほぼ最大の対角性（約1）を示しており、すでに局所的コンテキストにのみ注目しているため、自己注意機構はここでは不要である。
• 第7および第8層についても高い対角性が観察されたが、これらは置き換えの候補となる可能性があるものの、フィードフォワード層に置き換えると誤差率が上昇した。これは、コンテキストフローの乱れが原因と考えられる。
• 上位層をフィードフォワードネットワークに置き換えた後も、下位層から上位層にかけて対角性が増加する傾向は保持されており、安定した注目行動が確認された。