[論文レビュー] CREAK: A Dataset for Commonsense Reasoning over Entity Knowledge

Yasumasa Onoe, Michael J. Q. Zhang+2 more|arXiv (Cornell University)|Sep 3, 2021

Topic Modeling参考文献 38被引用数 26

ひとこと要約

CREAK は エンティティ知識と常識的推論を結びつける 13k-claim データセットを導入し、クローズドブックモデルとリトリーブ付きモデルを評価し、ドメイン内訓練による大幅な利得を示すが、人間の性能との差はなお存在する。

ABSTRACT

Most benchmark datasets targeting commonsense reasoning focus on everyday scenarios: physical knowledge like knowing that you could fill a cup under a waterfall [Talmor et al., 2019], social knowledge like bumping into someone is awkward [Sap et al., 2019], and other generic situations. However, there is a rich space of commonsense inferences anchored to knowledge about specific entities: for example, deciding the truthfulness of a claim "Harry Potter can teach classes on how to fly on a broomstick." Can models learn to combine entity knowledge with commonsense reasoning in this fashion? We introduce CREAK, a testbed for commonsense reasoning about entity knowledge, bridging fact-checking about entities (Harry Potter is a wizard and is skilled at riding a broomstick) with commonsense inferences (if you're good at a skill you can teach others how to do it). Our dataset consists of 13k human-authored English claims about entities that are either true or false, in addition to a small contrast set. Crowdworkers can easily come up with these statements and human performance on the dataset is high (high 90s); we argue that models should be able to blend entity knowledge and commonsense reasoning to do well here. In our experiments, we focus on the closed-book setting and observe that a baseline model finetuned on existing fact verification benchmark struggles on CREAK. Training a model on CREAK improves accuracy by a substantial margin, but still falls short of human performance. Our benchmark provides a unique probe into natural language understanding models, testing both its ability to retrieve facts (e.g., who teaches at the University of Chicago?) and unstated commonsense knowledge (e.g., butlers do not yell at guests).

研究の動機と目的

• NLP システムにおけるエンティティ知識と常識推論の統合の必要性を動機づける。
• 実世界のエンティティに関する主張が、事実知識と常識的推論の両方を要求するスケーラブルなベンチマークを作成する。
• ベースライン、検索付き、ドメイン内訓練モデルを評価し、エンティティ中心の常識タスクにおける能力を評価する。
• CREAK のデータセット特性、潜在的アーティファクト、訓練ダイナミクスを分析し、難易度を理解する。

提案手法

• クラウドワーカーが 2.7k エンティティについて英語の主張を 13k 件生成し、真偽ラベル付き、対照的な 200 メンバー集合を付与。
• 主張は Wikipedia のエンティティから作られ、推論タイプは多様（リトリーブ、常識、または両方）を含む。
• アーティファクトを減らすため、アノテータの正当化と訓練/評価エンティティを分離した慎重なデータ収集プロトコルを含む。
• 単語レベルの統計とボンフェローニ補正テストを用いて偽の相関を評価し、アーティファクトを定量化。
• 評価にはクローズドブックモデル（RoBERTa 系、SVM-TF-IDF、T5-3b）とリトリーブ付きモデル（Wikipedia 段落を用いた DPR）を使用。
• Zero-Shot、In-Domain、Finetuning 設定をカバーし、移転とドメイン内ゲインを測定。

実験結果

リサーチクエスチョン

• RQ1 モデルはエンティティ知識と常識推論を組み合わせて実世界のエンティティに関する主張を検証できるか？
• RQ2 CREAK におけるクローズドブックと検索付きモデルの性能はどうで、人的ベースラインと比べてどうか？
• RQ3 特にコントラストセットで、モデルサイズと外部知識検索の影響は？
• RQ4 データセットにアーティファクトはあるか、訓練ダイナミクスは CREAK の主張の難易度をどう反映するか？

主な発見

• 大規模でドメイン内訓練されたモデル（T5-3b）は、ベースラインの中で最も高いクローズドブック正確度を達成するが、人間にはまだ及ばず、特にコントラストセットで差が顕著。
• リトリーブ付きモデルはクローズドブックベースラインを上回るが、DPR と RoBERTa-Large の組み合わせで dev/test 精度は高いものの、コントラストセットでは人間の性能には及ばない。
• 既存データセットからの転移は役立つ（FEVER_KILT が顕著）、しかしドメイン内 CREAK 訓練が最も大きなゲインをもたらす。
• 主張中のエンティティの存在は重要で、エンティティを削除すると RoBERTa-Large で約10ポイントの性能低下。
• エラーとアーティファクトは存在するが相対的には限定的； CREAK は推論タイプが多様で、リトリーブと常識推論の組み合わせが substantial（54% ミックス）を占めるサンプルを含む。
• 外部知識を用いても人間の性能との差は依然として顕著で、CREAK のケースには substantial intrinsic 推論課題があることを示す。