[論文レビュー] Do Transformer Attention Heads Provide Transparency in Abstractive Summarization?

Joris Baan, Maartje ter Hoeve+3 more|arXiv (Cornell University)|Jul 1, 2019

Topic Modeling参考文献 23被引用数 9

ひとこと要約

この論文は、要約生成のためのTransformerモデルにおける自己注意およびクロス注意ヘッドが、その注意パターンを分析することで、真の透過性を提供するかを検討する。定性的な可視化と、新しい定量的指標（POS-KL、NEP、相対的位置特化）を用いて、一部のヘッドが固有名、品詞、標点など言語的に意味のある要素に特化していることが示されたが、モデルや文書によって特化の程度が一貫しないことから、モデルの解釈性に注意を要する。

ABSTRACT

Learning algorithms become more powerful, often at the cost of increased complexity. In response, the demand for algorithms to be transparent is growing. In NLP tasks, attention distributions learned by attention-based deep learning models are used to gain insights in the models' behavior. To which extent is this perspective valid for all NLP tasks? We investigate whether distributions calculated by different attention heads in a transformer architecture can be used to improve transparency in the task of abstractive summarization. To this end, we present both a qualitative and quantitative analysis to investigate the behavior of the attention heads. We show that some attention heads indeed specialize towards syntactically and semantically distinct input. We propose an approach to evaluate to which extent the Transformer model relies on specifically learned attention distributions. We also discuss what this implies for using attention distributions as a means of transparency.

研究の動機と目的

• 要約生成のためのTransformerモデルにおける注意ヘッドが、モデルの挙動を真に透過的に示すかどうかを評価すること。
• 注意ヘッドが固有名、品詞、相対的位置など言語的に解釈可能な入力要素に特化しているかどうかを調査すること。
• 1,000件のニュース記事にわたる大規模なセットにおいて、ヘッドの特化度を測る定量的指標を構築すること。
• 敵対的注意手法を用いて、モデルが特定の注意分布にどの程度依存しているかを評価し、注意が因果的説明として機能するかどうかを検証すること。
• 同じアーキテクチャにおいて、異なるモデル重み初期化や文書タイプにおける注意特化の一貫性を検討すること。

提案手法

• 複数の例においてエンコーダー自己注意およびデコーダークロス注意ヘッドの注意分布のパターンを特定するため、定性的な可視化を実施する。
• 3つの定量的指標を提案する：品詞用のKullback-Leibler発散（POS-KL）、固有名割合（NEP）、相対的位置に基づく注意特化。これらを用いて1,000件のニュース記事にわたるヘッド行動を測定する。
• 同じ要約生成データセットを用いて、異なるランダム初期化を用いて複数のTransformerモデルを学習し、ヘッド特化の一貫性を評価する。
• JainとWallace（2019）の敵対的注意手法を、seq2seq Transformerに適応させ、トップKビームサーチ確率を制約することで、個々の注意ヘッドを変更した際の因果的影響を評価する。
• 特定のヘッド（例：場所から人物へ）を再配分する敵対的注意分布を構築し、要約生成に影響を与えるかをテストする。
• ビームサーチと互換性のある敵対的摂動を用いて、出力シーケンスを同一に保ちながら注意分布を変更し、ヘッドの影響を制御的に評価する。

実験結果

リサーチクエスチョン

• RQ1 要約生成のためのTransformerモデルにおける個々の注意ヘッドが、固有名、品詞、句読点などの言語的に意味のある入力要素にどの程度特化しているか。
• RQ2 同じデータで学習された異なるモデル重み初期化において、ヘッド特化はどの程度一貫しているか。
• RQ3 POS-KL や NEP といった定量的指標が、視覚的検査を超えて、注意ヘッドの特化を信頼性高く測定・一般化できるか。
• RQ4 モデルが特定の注意分布にどの程度依存しているか。また、敵対的アプローチで注意ヘッドを操作することで要約出力が変化するか。
• RQ5 同一アーキテクチャにおいて複数の不一致する特化が見られる場合、注意分布をモデル挙動の透明な説明として用いることは妥当か。

主な発見

• Transformerモデルの一部の注意ヘッドは、固有名、品詞、句読点、人物や場所などの特定の語の種類に特化している。
• 提案された定量的指標（POS-KL、NEP、相対的位置特化）は、1,000件のニュース記事にわたる専門的ヘッドの行動を的確に特定・一般化でき、視覚的観察を裏付けた。
• 特化は異なるモデル初期化において一貫しないことが判明し、注意パターンがデータやアーキテクチャだけで一意に決まらないことを示している。
• ヘッドが特化しているように見える場合（例：固有名に注目）でも、関係のないトークンに注目することがあり、期待される意味的役割に忠実ではないことが示された。
• 敵対的注意手法により、注意分布を変更することでモデル出力に影響を与えることが示されたが、モデルの複雑さと冗長性のため、その影響の程度は明確でない。
• 本研究は、注意ヘッドは部分的な透過性を提供可能であるが、一貫性の欠如や因果的影響の欠如の可能性があるため、決定的な説明として用いるべきではないと結論づけた。