[論文レビュー] Amnesic Probing: Behavioral Explanation with Amnesic Counterfactuals

Yanai Elazar, Shauli Ravfogel+2 more|arXiv (Cornell University)|Jun 1, 2020

Topic Modeling参考文献 34被引用数 6

ひとこと要約

この論文は、文脈表現から特定の文語的性質（例：品詞）を除去し、その行動的影響を測定することで、ニューラル言語モデルがその性質をどのように使用しているかを評価する反事後的手法であるAmnesic Probingを導入する。標準的なプローブとは異なり、情報の存在を検出するのではなく、高いプローブ精度がタスクの関連性を示すとは限らないことを明らかにする。例えば、BERTのマスクされた言語モデル化では、品詞情報がしばしば符号化されているが、使用されていないことが示された。

ABSTRACT

A growing body of work makes use of probing to investigate the working of neural models, often considered black boxes. Recently, an ongoing debate emerged surrounding the limitations of the probing paradigm. In this work, we point out the inability to infer behavioral conclusions from probing results and offer an alternative method that focuses on how the information is being used, rather than on what information is encoded. Our method, Amnesic Probing, follows the intuition that the utility of a property for a given task can be assessed by measuring the influence of a causal intervention that removes it from the representation. Equipped with this new analysis tool, we can ask questions that were not possible before, e.g. is part-of-speech information important for word prediction? We perform a series of analyses on BERT to answer these types of questions. Our findings demonstrate that conventional probing performance is not correlated to task importance, and we call for increased scrutiny of claims that draw behavioral or causal conclusions from probing results.

研究の動機と目的

• 標準的プローブが、モデルが符号化された情報をどのように使用しているかについて、行動的または因果的結論を導くことの限界を解消すること。
• 符号化された情報の使用が表現に存在するかどうかではなく、実際にモデルの行動に与える影響を評価する手法を開発すること。
• マスクされた言語モデル化などのタスクにおいて、一般的にプローブされる文語的性質（例：品詞、依存構造ラベル）が機能的に重要であるかどうかを調査すること。
• BERTにおけるマスクありとマスクなしの設定での言語的情報の使用法の違いを比較し、性質の利用方法に顕著な差が存在することを明らかにすること。
• 反事後的介入を用いて層ごとの寄与度を分析することで、BERTの内部処理に関する先行の主張を再評価すること。

提案手法

• Amnesic Probingは、反事後的介入を実行し、文脈表現から特定の文語的性質（例：品詞）をイテレーティブ・ヌル空間射影（INLP）を用いて除去する。
• この除去による行動的影響は、情報の消去後に下流タスク（例：マスクされた言語モデル化）におけるモデルの予測性能を評価することで測定される。
• 2段階のプロセスを用いる：まず、プローブが表現空間内での文語的性質の方向を特定する。次に、INLPを用いて表現をその方向のヌル空間に射影し、中立化する。
• 除去前の予測精度と除去後の精度を比較することで、除去された性質がタスクに与える実用的寄与度を評価する。
• この手法により、粗い粒度の性質（例：品詞）と細かい粒度のサブタイプ（例：名詞、限定語）を、異なるBERT層および入力設定で分析可能である。
• このアプローチは、マスクありおよびマスクなしの両設定でBERTに適用され、訓練および推論の異なる環境下での言語的情報の使用法の違いを比較する。

実験結果

リサーチクエスチョン

• RQ1 品詞（例：品詞）のような文語的性質の高いプローブ精度が、モデルがその情報を予測に実際に使用していることを示す程度はどの程度か？
• RQ2 BERTにおけるマスクありとマスクなしの入力設定の間で、文語的性質の行動的影響はどのように異なるか？
• RQ3 特定の文語的性質のサブタイプ（例：名詞や限定語のような品詞）のうち、どのものが予測に最も大きな影響を与えるか？
• RQ4 BERTの異なる層は、文語的情報をどのように使用しており、特定の性質の除去に対してどの層が最も感受性を示すか？
• RQ5 標準的プローブに比べ、Amnesic Probingは言語的特徴がモデル行動に与える因果的帰属をより信頼性高く提供できるか？

主な発見

• 品詞のような文語的性質の高いプローブ精度は、マスクされた言語モデル化における実際の行動的重要性と相関しないことが判明し、プローブ結果の一般的な解釈に疑問を呈する。
• Amnesic Probingによる品詞情報の除去は、マスクされた言語モデル化において顕著な性能低下を引き起こし、BERTが予測に品詞を実際に機能的に使用していることを示している。
• マスクありとマスクなしの設定では、言語的性質の使用法が異なる：マスクあり設定では構文的・語彙的特徴に依存するが、マスクなし入力ではその依存度が低下する。
• 細粒度の分析により、すべての品詞が同等に影響を与えるわけではないことが判明した。限定語や代名詞は、形容詞や副詞よりも予測に強い影響を与える。
• 層ごとの分析から、BERTの初期層が文語的性質の除去に対してより感受性が高く、構文的および語彙的処理において重要な役割を果たしていることが示された。
• 一部の表現はAmnesic介入後も高いプローブ精度を維持しており、線形の中立化にもかかわらず、誤った相関関係や非線形符号化が残存している可能性を示している。