[論文レビュー] Transformer visualization via dictionary learning: contextualized embedding as a linear superposition of transformer factors

Zeyu Yun, Yubei Chen+2 more|arXiv (Cornell University)|Mar 29, 2021

Topic Modeling参考文献 19被引用数 5

ひとこと要約

本稿では、トランスフォーマーにおける文脈依存埋め込みを、学習された「トランスフォーマー要因」のスパースな線形重ね合わせとして可視化する辞書学習手法を提案する。これにより、多義語の意味の明確化、文レベルのパターン形成、長距離依存関係といった階層的な意味構造が明らかになる。この手法は、解釈可能でデータ駆動型の可視化を可能にし、既存の言語的パターンに加え、先行知識を超えた新規で予期しない表現の解明も可能にする。

ABSTRACT

Transformer networks have revolutionized NLP representation learning since they were introduced. Though a great effort has been made to explain the representation in transformers, it is widely recognized that our understanding is not sufficient. One important reason is that there lack enough visualization tools for detailed analysis. In this paper, we propose to use dictionary learning to open up these "black boxes" as linear superpositions of transformer factors. Through visualization, we demonstrate the hierarchical semantic structures captured by the transformer factors, e.g., word-level polysemy disambiguation, sentence-level pattern formation, and long-range dependency. While some of these patterns confirm the conventional prior linguistic knowledge, the rest are relatively unexpected, which may provide new insights. We hope this visualization tool can bring further knowledge and a better understanding of how transformer networks work. The code is available at https://github.com/zeyuyun1/TransformerVis

研究の動機と目的

• トランスフォーマーモデルにおける文脈依存表現を解釈するための有効な可視化ツールの不足に対処すること。
• プローブタスクの限界を克服すること。プローブタスクはしばしば単純すぎて、言語学的知識を超えた表現を明らかにできない。
• モデルの階層的レイヤー内における言語的構造の細分化された局所化を可能にすること。
• 既知の言語的現象と、新たな予期しないパターンを両方明らかにする手法の開発。
• データ駆動型で解釈可能なフレームワークを提供し、トランスフォーマーが文脈に敏感な意味をどのように符号化するかを分析すること。

提案手法

• 非負のスパースコーディングを用いて、文脈依存語埋め込みを学習された「トランスフォーマー要因」のスパースな線形結合としてモデル化する。
• 全レイヤーにわたって統一された辞書を学習し、すべての深さから階層的表現を捉える。
• 最適化にはFISTAを用い、逆問題 $ x = \Phi\alpha + \epsilon $ を解く。ここで $ \alpha \succeq 0 $ であり、非負でスパースな係数を保証する。
• 辞書 $ \Phi \in \mathbb{R}^{d \times m} $ は過完備（$ m > d $）であるため、意味的コンテンツの豊富で分離可能な因子分解が可能になる。
• スイープ接続を活用し、各レイヤーの出力を、すべての下位レイヤーからの変更の重ね合わせとしてモデル化する。
• この手法は、全レイヤーにわたるBERTスタイルのモデルからの収集済みの文脈依存埋め込みに適用され、学習された要因の可視化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーにおける文脈依存語埋め込みは、解釈可能な意味的要因のスパースな線形重ね合わせとして意味的に意味を持つ分解が可能か？
• RQ2 学習された要因から、多義語、文法的パターン、長距離依存関係といった階層的意味的構造はどのようなものか？
• RQ3 学習された要因は既知の言語的現象を明らかにするのか、それとも、新たな予期しない表現を明らかにするのか？
• RQ4 要因分解は異なるレイヤーでどのように変化するのか？これはトランスフォーマーにおける意味的情報の流れに何を示唆するのか？
• RQ5 この手法は、特定の言語的特徴がモデルアーキテクチャ内のどこに符号化されているかを局所化できるか？

主な発見

• 本手法は階層的意味的構造を効果的に可視化でき、同じ単語が異なる文脈で異なる要因によって表現される語の多義語の意味の明確化が確認された。
• 文レベルのパターン形成が観察され、要因がテキストのスパンにわたる文法的および話法的依存関係を捉えている。
• 長距離依存関係は、分散的でスパースな要因の組み合わせとして符号化されており、長距離推論の組み合わせ的メカニズムを示唆している。
• 一部の要因は従来の言語学的カテゴリ（例：品詞、固有名詞）と一致しており、この手法の解釈可能性を裏付けている。
• 他の要因は予期しない非伝統的な意味的パターンを表しており、トランスフォーマーが言語を処理する方法に関する新たな構造的知見を示している。
• 要因分解はレイヤー間で安定しており、表現が加法的な変更によって進化していることが明らかになった。これはスイープ接続仮説と整合的である。