[論文レビュー] exBERT: A Visual Analysis Tool to Explore Learned Representations in Transformers Models

Benjamin Hoover, Hendrik Strobelt+1 more|arXiv (Cornell University)|Oct 11, 2019

Topic Modeling参考文献 18被引用数 47

ひとこと要約

exBERT は、Transformer モデルの注意パターンとトークン埋め込みの両方を分析する対話型視覚化ツールであり、入力文脈を大規模な注釈付きコーパスと照合することで、学習済み表現が何をエンコードしているかをユーザーが検査できるようにします。注意ビューとコーパス主導の最近傍検索を統合し、ヘッドと埋め込みによって捉えた語彙情報を明らかにします。

ABSTRACT

Large language models can produce powerful contextual representations that lead to improvements across many NLP tasks. Since these models are typically guided by a sequence of learned self attention mechanisms and may comprise undesired inductive biases, it is paramount to be able to explore what the attention has learned. While static analyses of these models lead to targeted insights, interactive tools are more dynamic and can help humans better gain an intuition for the model-internal reasoning process. We present exBERT, an interactive tool named after the popular BERT language model, that provides insights into the meaning of the contextual representations by matching a human-specified input to similar contexts in a large annotated dataset. By aggregating the annotations of the matching similar contexts, exBERT helps intuitively explain what each attention-head has learned.

研究の動機と目的

• Transformer モデルの注意とトークン埋め込みを検査するための、対話的でモデルに依存しない可視化を提供する。
• コーパスベースの最近傍検索を通じて、言語情報と位置情報などの学習表現が何をエンコードしているかを探索できるようにする。
• ヘッドと層がメタデータ（POS, DEP, NER など）をどのように捉えているかを明らかにするために、注意パターンと埋め込みの類似性を比較できるようにする。
• Wizard of Oz コーパスに対する BERT の事例研究を通じて、層ごとに語彙特徴のエンコードの進展を示す。

提案手法

• 3つの主なコンポーネント：Attention View（対話的なレイヤー/ヘッド選択とマスキング）、Corpus View（注釈付き参照コーパス上の最近傍検索）、および Summary View（メタデータのヒストグラム）。
• 最近傍検索は、トークン埋め込みと連結されたヘッド埋め込みのコサイン類似度を用いて、言語的に注釈されたコーパス内の上位一致を見つける。
• ヘッド埋め込みは、レイヤ内の正規化されたヘッド表現を連結して定義され、ヘッドのサブセットに対する選択的な検索を可能にする。
• 参照コーパスは文ごとに分割され、言語的メタデータ（POS, DEP, NER）で注釈付けされ、照合に有意義な文脈を提供する。
• 検索結果は、ホバー時にメタデータを表示する上位一致を示し、埋め込みによって捉えられた言語的特徴を示す要約が提供される。
• このアプローチは、トークン化とメタデータ割り当てを適応させることで、BERT 以外のさまざまな Transformer モデルとコーパスにも適用できる。

実験結果

リサーチクエスチョン

• RQ1 学習されたトークン埋め込みは、Transformer モデルの異なる層でどんな言語的情報や構造情報をエンコードしているのだろうか？
• RQ2 注意ヘッドは言語的特徴のエンコードにどのように寄与しており、コーパスベースの最近傍検索を通じてその役割を解釈できるだろうか？
• RQ3 対話型の可視化は、モデルの層とヘッドを横断して、言語的特徴のエンコードの進展（例：POS、DEP、NER）を明らかにできるだろうか？
• RQ4 埋め込みと注意を注釈付きコーパスの文脈に結びつけることで、マスクされたトークンが何を表しているかを説明するのにこのツールは有効か？

主な発見

• 注意と埋め込みの分析は、レイヤが深くなるにつれて語彙的特徴が進展的にエンコードされることを示している（例：マスクされたトークンの状況では、初期レイヤで句読点/DET、後半レイヤで動詞へ）。
• ヘッド埋め込みによる検索は、DOBJ、ROOT、AUX などの依存構造を露出させることがあり、単一のヘッドではなくヘッドの組み合わせに依存する可能性がある。
• 位置情報を持つヘッドは、後続語への体系的な注意を示し、対応する POS/DEP パターンを明らかにする。これが一部のヘッドが位置情報をエンコードしていることを示す。
• ヘッドの組み合わせが特定の言語的関係を検出することを示しており、単一のヘッドではなく学習表現の分散性を強調している。
• exBERT は、注意の可視化とコーパスベースのメタデータ注釈を統合することで、文脈表現が何を学習しているかを実用的かつモデルに依存しない方法で検査する。