[論文レビュー] Visualizing Attention in Transformer-Based Language Representation Models

Jesse Vig|arXiv (Cornell University)|Apr 4, 2019

Topic Modeling被引用数 33

ひとこと要約

この論文は、Transformerモデルのマルチヘッド自己注意を可視化するオープンソースツールを提示します。3つのビュー（注意ヘッド、モデル、ニューロン）がGPT-2とBERTで実演され、バイアス検出とパターン分析のユースケースが含まれます。

ABSTRACT

We present an open-source tool for visualizing multi-head self-attention in Transformer-based language representation models. The tool extends earlier work by visualizing attention at three levels of granularity: the attention-head level, the model level, and the neuron level. We describe how each of these views can help to interpret the model, and we demonstrate the tool on the BERT model and the OpenAI GPT-2 model. We also present three use cases for analyzing GPT-2: detecting model bias, identifying recurring patterns, and linking neurons to model behavior.

研究の動機と目的

• Transformer自己注意のためのオープンソースの可視化ツールを導入する。
• 以前の可視化研究をエンコーダーのみモデル（BERT）とデコーダーのみモデル（GPT-2）へ拡張する。
• 注意機構とモデル挙動を解釈するための3つのビュー（attention-head、model、neuron）を提供する。
• GPT-2でのバイアス検出、再発するパターン、ニューロンと挙動の関連付けといったユースケースを実証する。

提案手法

• Tensor2Tensor風の注意可視化をGPT-2とBERTのアーキテクチャへ適合させる。
• 3つのビューを実装する：attention-headビュー、modelビュー、neuronビュー。
• トークン間の接続としての注意を、カラーコードされたヘッドと重み付きの線で可視化する。
• クエリとキーのニューロンレベルのトレースを公開し、注意がどのように計算されるかを示す（q, k, q×k, q·k, Softmax）。
• 層、ヘッド、文ごとに対話的なフィルタリングを提供し、パターンと潜在的なバイアスを明らかにする。

実験結果

リサーチクエスチョン

• RQ1 GPT-2とBERTのマルチヘッド自己注意を、さまざまな粒度で効果的に可視化するにはどうすればよいか？
• RQ2 トランスフォーマーモデルの注意の可視化を通じて、どのようなパターンとバイアスを特定できるか？
• RQ3 ニューロンレベルの検査は、個々のニューロンと注意挙動の関連を明らかにできるか？
• RQ4 可視化は、再発する注意パターンや潜在的なnullまたは距離ベースの注意を説明するのに役立つか？

主な発見

• このツールは、GPT-2とBERTにおいて、ヘッド、モデル、ニューロンの粒度で注意パターンを可視化可能にする。
• 注意ヘッドは、語彙的パターン、照応のような挙動、文ペア間の相互作用をBERTとGPT-2で示す。
• モデルビューは、null attentionのような再発するパターンを示し、主に最初のトークンに焦点を当てる。
• ニューロンビューは、特定のニューロンがattentionにどのように寄与するかを、q、k、およびそれらの積を通じて追跡し、挙動を変更するための潜在的な操作を可能にする。
• ユースケースは、潜在的なバイアス検出、再発する注意パターン、ニューロンとモデル挙動の関連付けを示す。