[論文レビュー] AttViz: Online exploration of self-attention for transparent neural language modeling

Blaž Škrlj, Nika Eržen+4 more|arXiv (Cornell University)|May 12, 2020

Topic Modeling被引用数 7

ひとこと要約

AttViz は、事前学習済み言語モデルにおける自己注意メカニズムを可視化するオンラインでインタラクティブなツールキットであり、研究者がリアルタイムでトークンやアテンションヘッド across で注目度の重みを探索できる。これは、注目度分布とモデル出力確率の直感的な可視化を提供し、予測に影響を与えるトークンを特定する洞察をもたらす。BERTベースのモデルを用いたニュース分類タスクで実証された。

ABSTRACT

Neural language models are becoming the prevailing methodology for the tasks of query answering, text classification, disambiguation, completion and translation. Commonly comprised of hundreds of millions of parameters, these neural network models offer state-of-the-art performance at the cost of interpretability; humans are no longer capable of tracing and understanding how decisions are being made. The attention mechanism, introduced initially for the task of translation, has been successfully adopted for other language-related tasks. We propose AttViz, an online toolkit for exploration of self-attention---real values associated with individual text tokens. We show how existing deep learning pipelines can produce outputs suitable for AttViz, offering novel visualizations of the attention heads and their aggregations with minimal effort, online. We show on examples of news segments how the proposed system can be used to inspect and potentially better understand what a model has learned (or emphasized).

研究の動機と目的

• 高い性能を示すが、しばしばブラックボックスと見なされる大規模ニューラル言語モデルにおける解釈可能性の課題に対処すること。
• 研究者や実務家が、リアルタイムで注目メカニズムがモデル予測に与える影響を検査できること。
• 個々のトークンやアテンションヘッド across で自己注意パターンを可視化する、アクセスしやすいオンラインインターフェースを提供すること。
• 注目度分布と出力確率空間を結びつけることで、モデル意思決定の透明な分析を支援すること。
• 嫌がらせやニューストピック分類などの分類タスクにおいて、顕著なトークンや潜在的なバイアスの検出を促進すること。

提案手法

• AttViz は事前学習済みトランスフォーマー・モデル（例：BERT）から注目度重みを抽出し、使いやすいインタラクティブなウェブインターフェースにマッピングする。
• システムは、ヘッドごとの注目度強度を色の濃さで示すヒートマップとして自己注意を可視化する。
• 注目度ヘッドの動的集約を可能にし、集団的な注目度パターンを探索できる。
• 注目度可視化とモデル出力確率を同期させ、予測と注目度を並べて検査できる。
• ローカル計算やモデルの微調整を必要とせず、オンラインでの探索を可能にする。
• 既存のディープラーニング推論パイプラインを活用し、注目度出力を可視化するための統合に最小限の作業で対応できる。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマー基盤の言語モデルにおける自己注意パターンは、解釈可能性のためにどのように効果的に可視化できるか？
• RQ2 どのトークンがモデル予測に最も顕著な影響を与え、注目度ヘッドはその関連性をどのように分散させるか？
• RQ3 注目度可視化は、モデル予測における誤った相関関係やバイアスの特定に役立つか？
• RQ4 ニュースセグメントを分類する際、アテンションヘッドごとに注目度パターンはどのように異なるか？
• RQ5 入力シーケンスの最初のトークンが、なぜしばしば不釣りれいに注目されるのか、その程度はどの程度か？

主な発見

• 『trillion』、『uk』、『total』などのトークンは、複数のアテンションヘッドにわたって一貫して高い自己注目度値を示し、分類タスクにおいて関連性が高いことを示している。
• 個々のトークンに対しては、注目度ヘッドの一部しか活性化しなかったため、異なるヘッドが入力の異なる側面（関係的パターンを含む）に注目していることが示唆された。
• 入力シーケンスの最初のトークンが頻繁に強調されていたが、これは次トークン予測を重視する事前学習目的によるものと考えられる。
• システムは注目度パターンとモデル出力確率を効果的に結びつけ、2番目に高い確率のクラス（例：政治）が意味的妥当性と一致することが判明した。
• AttViz は、モデル再トレーニングを必要とせず、リアルタイムで注目度と予測空間をインタラクティブに探索可能にし、解釈性を向上させた。
• このツールキットは、特にキーワードの特定や文脈におけるモデル行動の評価を目的としたニューステキスト分類の分析において実用的であることが示された。