[論文レビュー] Trusting RoBERTa over BERT: Insights from CheckListing the Natural Language Inference Task

Ishan Tarunesh, Somak Aditya+1 more|arXiv (Cornell University)|Jul 15, 2021

Topic Modeling参考文献 37被引用数 9

ひとこと要約

本稿では、194のテンプレートをカバーする184,000件の例を有する大規模でテンプレートベースのテストセット（CheckListNLI）を導入し、NLIモデルの推論能力を評価する。RoBERTaは人間の予測精度が12.5%向上するなど、一貫性と予測可能性がより高いことが示されたが、BERTとRoBERTaの両モデルがテンプレート内およびテンプレート間で顕著な不一致を示しており、行動テストからのモデル行動の一般化の難しさが浮き彫りになった。

ABSTRACT

The recent state-of-the-art natural language understanding (NLU) systems often behave unpredictably, failing on simpler reasoning examples. Despite this, there has been limited focus on quantifying progress towards systems with more predictable behavior. We think that reasoning capability-wise behavioral summary is a step towards bridging this gap. We create a CheckList test-suite (184K examples) for the Natural Language Inference (NLI) task, a representative NLU task. We benchmark state-of-the-art NLI systems on this test-suite, which reveals fine-grained insights into the reasoning abilities of BERT and RoBERTa. Our analysis further reveals inconsistencies of the models on examples derived from the same template or distinct templates but pertaining to same reasoning capability, indicating that generalizing the models' behavior through observations made on a CheckList is non-trivial. Through an user-study, we find that users were able to utilize behavioral information to generalize much better for examples predicted from RoBERTa, compared to that of BERT.

研究の動機と目的

• NLIモデルの推論能力を評価する包括的でテンプレートベースのテストセットを開発すること。
• BERTやRoBERTaのような最先端のNLUモデルが、多様な推論現象において一貫性と予測可能性を示すかを評価すること。
• 人間のユーザーが、特にRoBERTaとBERTの比較において、行動要約からモデル行動をより効果的に一般化できるかを調査すること。
• モデルの不一致が、人間の信頼やモデル行動の予測に与える影響を定量化すること。

提案手法

• TaxINLI分類法に基づき、因果的、空間的、弁別的推論を含む17種類の推論タイプをカバーする194のテンプレートを含むテストセットを、CheckList手法を拡張して構築した。
• テンプレート内の語彙と構造を体系的に変化させることで、184,000件の例を生成し、言語的および論理的摂動に対するモデル行動を調査した。
• BERTおよびRoBERTaの最終[CLS]トークン埋め込みを用い、コサイン類似度を計算し、人間の研究に適した最近傍例を同定した。
• 10名の国際言語オリンピック参加者を対象に、CheckListテストセットからの行動情報に基づいてモデル予測を予測するシミュレーションベースのヒューマンスタディを実施した。
• 参加者の予測精度と相互合意度を測定し、行動要約の有効性が人間の一般化能力に与える影響を評価した。

実験結果

リサーチクエスチョン

• RQ1 BERTとRoBERTaは、語彙の変化に対して、異なるテンプレートおよび同じテンプレート内で一貫した行動を示しているか。
• RQ2 CheckListテストセットからの行動要約を提供された場合、人間のユーザーはRoBERTaのモデル行動をBERTよりも効果的に一般化できるか。
• RQ3 モデルの予測の不一致は、NLUシステムにおける人間の信頼とモデル行動の予測にどのように影響するか。
• RQ4 CheckListによる分離された行動要約は、生のモデル出力と比較して、人間のモデル推論理解をどのように向上させるか。

主な発見

• BERTとRoBERTaの両方が、語彙の変化に対してテンプレート間およびテンプレート内に顕著な不一致を示しており、一般化の非自明性が浮き彫りになった。
• 参加者がCheckList例を用いてモデル行動を予測する際、RoBERTaの予測精度はBERTに比べ12.5%向上した。
• 参加者の相互合意度は、BERTでは74.75%から79.8%に上昇し、RoBERTaでは高い水準を維持した。これは、行動要約が人間の推論の一貫性を高めることを示している。
• 60%の参加者が、両モデルが不一致を示しているにもかかわらず、RoBERTaの行動をBERTよりも予測しやすかったと回答した。これは、実用的にはRoBERTaがより予測可能であることを示唆している。
• 最近傍例は参加者にとって最も役立つと評価され、特に複雑なケースにおけるモデル行動の理解に有効であった。