[論文レビュー] Birds have four legs?! NumerSense: Probing Numerical Commonsense Knowledge of Pre-trained Language Models

Bill Yuchen Lin, Seyeon Lee+2 more|arXiv (Cornell University)|May 2, 2020

Topic Modeling参考文献 28被引用数 14

ひとこと要約

この論文は、'鳥には2本の足がある'のように、数的共通知識（例：『a bird has two legs』）を捉える能力を評価するための診断プローブタスクおよびデータセットであるNumerSenseを紹介する。マスクされた言語モデル化を用いて、微調整された遠隔監視を経ても、BERT や RoBERTa は54.06%の正確性にとどまり、人間の性能（96.3%）とは大きく乖離しており、PTLMの事実的数的推論能力に顕著なギャップが存在することが示された。

ABSTRACT

Recent works show that pre-trained language models (PTLMs), such as BERT, possess certain commonsense and factual knowledge. They suggest that it is promising to use PTLMs as "neural knowledge bases" via predicting masked words. Surprisingly, we find that this may not work for numerical commonsense knowledge (e.g., a bird usually has two legs). In this paper, we investigate whether and to what extent we can induce numerical commonsense knowledge from PTLMs as well as the robustness of this process. To study this, we introduce a novel probing task with a diagnostic dataset, NumerSense, containing 13.6k masked-word-prediction probes (10.5k for fine-tuning and 3.1k for testing). Our analysis reveals that: (1) BERT and its stronger variant RoBERTa perform poorly on the diagnostic dataset prior to any fine-tuning; (2) fine-tuning with distant supervision brings some improvement; (3) the best supervised model still performs poorly as compared to human performance (54.06% vs 96.3% in accuracy).

研究の動機と目的

• 事前学習された言語モデル（PTLM）が、'鳥には2本の足がある'のような数的共通知識を捉え、推論できるかどうかを調査すること。
• 既存のプローブタスクが言語的または定性的な共通知識に焦点を当てているが、定量的事実を無視するというギャップを是正すること。
• 数的推論に影響を与えるが事実の意味を変えてはいないような、入力の微小な摂動（例：マスクされた数詞の近くに形容詞を挿入）に対するPTLMの頑健性を評価すること。
• 関連する共通知識推論データセットからの遠隔監視および微調整が、PTLMの数的共通知識タスクにおける性能向上にどの程度有効であるかを評価すること。
• 今後の研究におけるPTLMの数的推論および知識の根拠化の改善を支援する診断データセットを提供すること。

提案手法

• マスクされた語プローブタスクを設計し、数的共通知識を要する文のマスクされた位置に最も適切な数詞（例：'two'）を予測させる。
• Open Mind Common Sense（OMCS）コーパスから抽出・選別し、手作業による検証を経て、13,600件のプローブ（微調整用に10,500件、テスト用に3,100件）を含むNumerSenseデータセットを構築する。
• ConceptNetから得た形容詞（例：'round'）をプローブの名詞の近くに挿入することで、敵対的例を組み込み、モデルの頑健性をテストする。
• ゼロショット（微調整なし）と遠隔監視（CommonsenseQAなどの関連する共通知識推論データセットで微調整済み）の2つの設定でモデルを評価する。
• ソフトマックススコアを用いて候補となる数詞をランク付けし、正解に対するモデルの信頼度を測定。性能は正確性で測定する。
• 自然言語の質問に変換することで、'何個？'に関する質問に対して、人間のアノテーターおよび最先端のオープンドメインQAモデルと比較してベンチマークを実施する。

実験結果

リサーチクエスチョン

• RQ1 BERT や RoBERTa などの事前学習された言語モデルは、マスクされた言語モデル化によって、'鳥には2本の足がある'のような数的共通知識をどの程度回復できるか？
• RQ2 文の文脈を変えるが事実の意味を変えてはいないような、'round'のような形容詞を挿入するような微小な入力摂動に対して、これらのモデルはどの程度頑健か？
• RQ3 関連する共通知識推論データセットからの遠隔監視が、PTLMの数的共通知識プローブタスクにおける性能を顕著に向上させられるか？
• RQ4 NumerSenseにおけるPTLMの性能は、人間の性能および最先端のオープンドメインQAモデルの'何個？'に関する質問に対する性能と比べてどうか？
• RQ5 PTLMが数的共通知識推論において失敗する主な要因は何か？また、自己教師あり事前学習を経ても、その性能が低い理由は何か？

主な発見

• BERT と RoBERTa は、ゼロショット設定下でNumerSense診断データセットにおいてわずか54.06%の正確性にとどまり、数的共通知識に対するベースライン性能が著しく低いことが示された。
• 関連する共通知識データセットからの遠隔監視による微調整で性能は向上したが、依然として人間の性能（96.3%の正確性）と大きなギャップが存在した。
• 最も性能の良い教師ありモデルですら人間を下回っており、現在のPTLMが正確な数的事実を信頼できる形でエンコードしていないことが示唆された。
• モデルは頑健性に欠ける：例として、'a round bird usually has [MASK] legs' という文に 'round' を挿入すると、BERT は 'four' から 'two' に予測を変更するなど、不安定な挙動を示した。
• 最先端のオープンドメインQAモデル（Natural Questionsで微調整済み）は、同じ'何個？'に関する質問に対してわずか15.4%の正確性にとどまり、BERT-base（微調整なし）よりも悪い結果を示した。これは、現在のQAシステムが数的共通知識に対して同様に困難を抱えていることを示している。
• 本研究では、PTLMが言語的および定性的な共通知識を捉えられる一方で、正確な数的事実を信頼的にエンコードまたは取得できないという重要な研究ギャップを特定した。