[論文レビュー] When Bert Forgets How To POS: Amnesic Probing of Linguistic Properties and MLM Predictions

Yanai Elazar, Shauli Ravfogel+2 more|arXiv (Cornell University)|Jun 1, 2020

Topic Modeling参考文献 30被引用数 25

ひとこと要約

この論文は、表現から特定の情報を削除した際の影響を測定することで、ニューラルモデルにおける言語的性質の機能的重要性を評価する方法であるアムネシックプロービングを導入する。BERTに適用した結果、従来のプロービング精度はタスク上の重要性と相関しないことが判明し、これはプロービングを用いた行動的・因果的結論を導くことの妥当性を疑問視するものである。

ABSTRACT

A growing body of work makes use of probing in order to investigate the working of neural models, often considered black boxes. Recently, an ongoing debate emerged surrounding the limitations of the probing paradigm. In this work, we point out the inability to infer behavioral conclusions from probing results, and offer an alternative method which is focused on how the information is being used, rather than on what information is encoded. Our method, Amnesic Probing, follows the intuition that the utility of a property for a given task can be assessed by measuring the influence of a causal intervention which removes it from the representation. Equipped with this new analysis tool, we can now ask questions that were not possible before, e.g. is part-of-speech information important for word prediction? We perform a series of analyses on BERT to answer these types of questions. Our findings demonstrate that conventional probing performance is not correlated to task importance, and we call for increased scrutiny of claims that draw behavioral or causal conclusions from probing results.

研究の動機と目的

• ニューラルモデルの表現に関する行動的・因果的結論を導く際の従来のプロービングの限界を解決すること。
• 品詞情報などの言語的性質が、語の予測などの下流タスクにおいて機能的に重要であるかどうかを調査すること。
• 情報がどのように使われているかを評価する新しい手法を提案すること、すなわち単に情報がエンコードされているかどうかを評価するのではなく、その使用状況を評価すること。
• プロービング性能を、モデル行動における言語的特徴の重要性の代理指標として用いることの妥当性を挑戦すること。

提案手法

• アムネシックプロービングは、標的的な干渉によってBERTの隠れ表現から特定の言語的性質を削除する。
• この手法は、特にマスクされた言語モデル（MLM）性能の変化を測定することで、モデル予測への影響を評価し、機能的重要性を測定する。
• 推論中に特定の言語的特徴（例：品詞タグ）の忘却を模倣するための因果的介入を用いる。
• このアプローチは、削除された情報が下流予測タスクに与える影響を評価し、性能低下の程度を注目する。
• エンコーディングと使用の間の乖離を評価するために、アムネシック干渉後の性能低下をベースラインプロービング結果と比較する。
• この手法は、BERTを下流のMLMタスクに適用し、言語的性質の重要性をテストする。

実験結果

リサーチクエスチョン

• RQ1 BERTにおける語の予測において、品詞情報は機能的に重要であるか？
• RQ2 プロービング性能は、言語的特徴の実際のタスク上の重要性とどの程度相関するか？
• RQ3 因果的介入は、標準的プロービングが検出できない機能的依存関係を明らかにできるか？
• RQ4 表現に言語的情報が存在することは、予測タスクにおけるその有用性を示唆するのか？

主な発見

• 従来のプロービング性能は、下流予測タスクにおける言語的特徴の実際の重要性と相関しない。
• 品詞情報は、非常に高いプロービング精度を示すが、BERTにおけるマスクされた言語モデル化において機能的に不可欠ではない。
• アムネシックプロービングは、プロービング精度が高くても、言語的性質の削除によって性能が著しく低下する場合があることを明らかにした。これは、エンコーディングと使用の間に乖離があることを示している。
• 研究は、高いプロービング精度が機能的関連性を意味するとは限らないことを示し、プロービング結果に依存する主張の妥当性を揺るがしている。
• 結果として、プロービングだけではニューラルモデルにおける行動的・因果的関係を信頼できる根拠として導けないことが示唆された。
• アムネシックプロービングは、プロービングを表現の有用性の指標として解釈する際の限界を露呈し、より因果的な評価手法の導入を提唱している。