[論文レビュー] An Interpretability Illusion for BERT

Tolga Bolukbasi, Adam Pearce+5 more|arXiv (Cornell University)|Apr 14, 2021

Topic Modeling参考文献 26被引用数 10

ひとこと要約

この論文は、BERTにおける「解釈可能性の錯覚」を特定する。あるデータセットでは、上位活性化文から単純で解釈可能な概念（例：楽曲タイトル）をエンコードしているように見えるニューロンがあるが、他のデータセットでテストするとその解釈は崩壊する。これは、顕著なパターンがデータセット固有の分布バイアスの産物であり、真の意味的表現ではないことを示している。主な貢献は、解釈可能性の主張が複数のデータセットで検証されない限り、誤った結論を導く可能性があるという方法論的警告である。

ABSTRACT

We describe an "interpretability illusion" that arises when analyzing the BERT model. Activations of individual neurons in the network may spuriously appear to encode a single, simple concept, when in fact they are encoding something far more complex. The same effect holds for linear combinations of activations. We trace the source of this illusion to geometric properties of BERT's embedding space as well as the fact that common text corpora represent only narrow slices of possible English sentences. We provide a taxonomy of model-learned concepts and discuss methodological implications for interpretability research, especially the importance of testing hypotheses on multiple data sets.

研究の動機と目的

• BERTの最終層における個々のニューロンが、解釈可能で人間が理解できる概念をエンコードしているかどうかを調査すること。
• あるデータセットでは特定の言語的パターン（例：楽曲タイトル）を検出すると見なされるニューロンが、他のデータセットではなぜ検出されないかを検討すること。
• この不一致の根本的要因、特にデータセットの分布バイアスと埋め込み空間の幾何的性質を特定すること。
• 単一のデータセットからの上位活性化文に基づく解釈可能性の主張の妥当性を疑うこと。
• 解釈可能性研究における多データセット検証を、必須の基準として提唱すること。

提案手法

• Quora Question Pairs (QQP)、Wikipediaベースの質問応答、Toronto BookCorpusの3つの異なるデータセットを対象に、BERTの最終層の個々のニューロンをプローブした。
• 上位活性化文とランダムな文の間の意味的整合性を測るために、コサイン類似度とユークリッド距離を用いた。パターンが局所的かグローバルかを評価した。
• 上位活性化文の人的ラベル付けを実施し、認識されたパターンがラベル付け者間で一貫しているかを評価した。
• 重心からの距離が最も大きい文（上位1%および10%）が、どのニューロンを最も多く活性化させているかを追跡した。極端な活性化が錯覚を引き起こしているかどうかを評価した。
• 概念方向を3つのカテゴリに分類した：局所的（近接する文）、グローバル的（全データで一貫）、データセットレベル（1つのデータ分布に特有）。
• ラベル付け者間の不一致とバイアスを分析し、認識されたパターンが主観的であるのか、客観的であるのかを評価した。

実験結果

リサーチクエスチョン

• RQ1 BERTの最終層におけるニューロンが、上位活性化文を用いて分析した場合、一貫した意味的概念を解釈可能にエンコードしているか？
• RQ2 上位活性化文に見られる一見整合性のあるパターンが、他のデータセットでテストするとなぜ消えるのか？
• RQ3 ニューロンの解釈可能性が、自然言語コーパスにおけるデータセット固有の分布バイアスの産物である程度はどの程度か？
• RQ4 BERTの活性化空間の幾何的性質が、解釈可能性の錯覚にどのように寄与しているか？
• RQ5 人間のラベル付け者が、上位活性化文に意味のあるパターンを信頼性を持って特定できるのか、それとも主観的バイアスに左右されるのか？

主な発見

• Quora Question Pairsデータセットでは『楽曲タイトル』をエンコードしているように見えるニューロンが、WikipediaベースのQAデータでテストされると、『歴史的出来事』や『日付を示す文』をエンコードしていることが判明した。
• 同じニューロン（例：ニューロン221）は、データセットごとにまったく異なる意味的パターンに活性化される—例：QQPでは楽曲タイトル、Wikipediaでは歴史的出来事、BookCorpusでは物語的行動—解釈がデータセット依存であることを示している。
• 上位活性化文は、データセット間で意味的に整合性がない：距離が最も遠い1%の文が、すべての上位活性化の48%を占めており、極端な外れ値が顕著なパターンを生み出していることが示された。
• ラベル付け者間で、パターンの有無について顕著な不一致が認められ、1人のラベル付け者が平均1.6のパターンを特定したが、これはパターン検出の主観性が強いことを示唆している。
• 最も遠い1%または10%の文を除外しても、錯覚は依然として継続しており、これは外れ値ではなく、根本的なデータセットバイアスに起因していることを示している。
• この錯覚が存在する中でも、BERTの活性化空間には意味的なグローバルな概念方向が実際に存在するが、それらはデータセット固有の局所的パターンに隠されている。