[論文レビュー] Machine Reading, Fast and Slow: When Do Models "Understand" Language?

Sagnik Ray Choudhury, Anna Rogers+1 more|arXiv (Cornell University)|Sep 15, 2022

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿では、共参照解消と比較に関する期待される推論手順を定義し、Saliencyマップと反事実説明を用いてBERTファミリーのモデルを評価することで、読解理解モデルが言語を「理解している」かどうかを評価するフレームワークを提案する。大きなモデルは比較の際に正しい情報をよりよく活用するが、依然として一般化可能な推論ではなく語彙的パターンに依存しており、分布外の例では失敗する。

ABSTRACT

Two of the most fundamental challenges in Natural Language Understanding (NLU) at present are: (a) how to establish whether deep learning-based models score highly on NLU benchmarks for the 'right' reasons; and (b) to understand what those reasons would even be. We investigate the behavior of reading comprehension models with respect to two linguistic 'skills': coreference resolution and comparison. We propose a definition for the reasoning steps expected from a system that would be 'reading slowly', and compare that with the behavior of five models of the BERT family of various sizes, observed through saliency scores and counterfactual explanations. We find that for comparison (but not coreference) the systems based on larger encoders are more likely to rely on the 'right' information, but even they struggle with generalization, suggesting that they still learn specific lexical patterns rather than the general principles of comparison.

研究の動機と目的

• NLUベンチマークで高い性能を達成するNLPモデルが『正しい理由』で性能を発揮しているかどうかを特定する課題に対処すること。
• 読解理解における言語的スキル、たとえば共参照解消や比較のための妥当な推論手順を定義すること。
• 説明可能性技術を用いて、BERTベースのモデルが正しい情報をどの程度活用しているかを評価すること。
• モデルの性能がトレーニングデータを超えて一般化するか、特に反事実的摂動に対してどうなるかを調査すること。
• 広範なモデルやデータセットに適用可能な、モデルの『理解』を評価するための手法的フレームワークを開発すること。

提案手法

• 共参照解消と比較という2つの言語的スキルについて、構造的で段階的なフレームワークを用いて期待される推論手順を定義する。
• Saliencyに基づく説明を用いて、モデルが質問に答える際にどの入力トークンに注目しているかを特定する。
• 人間が解釈可能な反事実的摂動を生成し、モデルの予測が意味的シフトに対してどれほど頑健であるかをテストする。
• Saliencyマップと反事実的説明を比較することで、モデルが正しい言語的手がかりに依存しているかどうかを検証する。
• SQuADデータセット上でサイズが異なる5つのBERTファミリーのモデルを評価し、性能と推論の整合性を測定する。
• 定義1に基づく行動的テストを適用し、期待される行動と実際のモデル行動との整合性を測ることで、モデルが『正しい理由で正しい』かどうかを判断する。

実験結果

リサーチクエスチョン

• RQ1 読解理解タスクにおける共参照解消と比較のための妥当な推論とは何か？
• RQ2 BERTベースのモデルは、共参照や比較を含む質問に答える際、正しい情報を活用しているか？
• RQ3 モデルのサイズは、正しい推論手順に依存する可能性にどのように影響するか？
• RQ4 モデルはどれほど分布外の反事実的例に一般化できるか？
• RQ5 Saliencyと反事実的説明は、モデルの推論経路を特定する際にどれほど一致するか？

主な発見

• 比較タスクでは、大きなBERTベースのモデルがより正しい情報を活用する傾向にあり、スケールに伴い推論の整合性が向上していることが示された。
• 最大のモデルですら、分布外の反事実的摂動に対して一般化に失敗しており、一般原理ではなく特定の語彙的パターンに依存していることが示唆された。
• 共参照解消のタスクでは、どのモデルも一貫して正しい情報を活用していないため、言語現象そのものの学習に失敗していることが示された。
• Saliencyマップと反事実的説明は部分的に相関していたが、両者を別々に用いるだけでは推論行動の完全な検証には不十分であった。
• 小さなモデルはヒューリスティックや解釈不能な戦略を用いる可能性があり、説明を提示しても人間の推論と一致しないため、予測が一致しなかった。
• 結果から、現在のモデルは一般化可能な推論スキルを学習しているのではなく、表面的なパターンを記憶していることが示唆され、信頼性と頑健性に制限がある。