[논문 리뷰] CREAK: A Dataset for Commonsense Reasoning over Entity Knowledge

Yasumasa Onoe, Michael J. Q. Zhang외 2명|arXiv (Cornell University)|2021. 09. 03.

Topic Modeling참고 문헌 38인용 수 26

한 줄 요약

CREAK는 엔터티 지식과 일반상식 추론을 연결하는 13k개의 주장 데이터셋을 도입하고, 비개방형(closed-book) 모델과 조회 기반 모델을 평가하며, 도메인 내 학습에서 상당한 이득을 보이지만 인간 성능과의 격차가 남는다는 것을 보여준다.

ABSTRACT

Most benchmark datasets targeting commonsense reasoning focus on everyday scenarios: physical knowledge like knowing that you could fill a cup under a waterfall [Talmor et al., 2019], social knowledge like bumping into someone is awkward [Sap et al., 2019], and other generic situations. However, there is a rich space of commonsense inferences anchored to knowledge about specific entities: for example, deciding the truthfulness of a claim "Harry Potter can teach classes on how to fly on a broomstick." Can models learn to combine entity knowledge with commonsense reasoning in this fashion? We introduce CREAK, a testbed for commonsense reasoning about entity knowledge, bridging fact-checking about entities (Harry Potter is a wizard and is skilled at riding a broomstick) with commonsense inferences (if you're good at a skill you can teach others how to do it). Our dataset consists of 13k human-authored English claims about entities that are either true or false, in addition to a small contrast set. Crowdworkers can easily come up with these statements and human performance on the dataset is high (high 90s); we argue that models should be able to blend entity knowledge and commonsense reasoning to do well here. In our experiments, we focus on the closed-book setting and observe that a baseline model finetuned on existing fact verification benchmark struggles on CREAK. Training a model on CREAK improves accuracy by a substantial margin, but still falls short of human performance. Our benchmark provides a unique probe into natural language understanding models, testing both its ability to retrieve facts (e.g., who teaches at the University of Chicago?) and unstated commonsense knowledge (e.g., butlers do not yell at guests).

연구 동기 및 목표

• 자연어 처리 시스템에서 엔터티 지식과 일반상식 추론의 결합 필요성을 제시한다.
• 실세계 엔터티에 대한 주장이 사실 지식과 일반상식 추론을 모두 필요로 하는 확장 가능한 벤치마크를 만든다.
• 기초 모델(베이스라인), 검색 기반 확장 모델, 도메인 내 학습 모델의 역량을 엔터티 중심 일반상식 작업에서 평가한다.
• 데이터셋 속성, 잠재적 인공물, 학습 역학을 분석하여 CREAK를 도전적으로 만드는 요인을 파악한다.

제안 방법

• 크라우드워커가 2.7k개 엔티티에 대해 13k개의 영어 주장을 생성하고, 진실/거짓으로 라벨링하며, 대비(constrast) 200개 멤버 세트로 구성된다.
• 주장은 위키피디아 엔터티에서 생성되며 검색(Retrieval) 또는 일반상식 추론 또는 둘 다와 같은 다양한 추론 유형을 포함한다.
• 주석자의 근거를 보고하도록 하는 신중한 데이터 수집 프로토콜과 아티팩트를 줄이기 위한 훈련/평가 엔터티의 분리를 포함한다.
• 인위적 특성은 단어 수준 통계와 Bonferroni 보정된 검정으로 측정하여 잘못된 상관관계를 평가한다.
• 평가에는 폐쇄형 모델(RoBERTa 변형, SVM-TF-IDF, T5-3b)과 조회-강화 모델(DPR과 위키피디아 문단) 사용.
• 실험은 제로샷, 도메인 내, 파인튜닝 설정을 다루어 이전 지식의 전달과 도메인 내 이득을 측정한다.

실험 결과

연구 질문

• RQ1 모델이 실제 세계 엔터티에 대한 주장을 확인하기 위해 엔터티 지식과 일반상식 추론을 결합할 수 있는가?
• RQ2 CREAK에서 비개방형 모델과 회수-강화 모델의 성능은 어떠하며, 인간 기준선과의 비교는 어떠한가?
• RQ3 모델 크기와 외부 지식 검색이 CREAK 성능에 미치는 영향은 무엇이며, 특히 대조 세트에서 어떤 변화가 있는가?
• RQ4 데이터셋 인공물이 존재하는가, 그리고 학습 역학은 CREAK 주장들의 난이도를 어떻게 반영하는가?

주요 결과

• 더 크고 도메인 내 학습된 모델(T5-3b)이 베이스라인 중에서 가장 높은 폐쇄형 정확도를 달성하지만, 특히 대비 세트에서 인간보다 뒤처진다.
• 검색-강화 모델은 폐쇄형 베이스라인보다 성능을 향상시키며, DPR + RoBERTa-Large가 dev/ test에서 높은 정확도를 달성하지만 대비 세트에서 인간의 성능에는 미치지 못한다.
• 기존 데이터셋으로부터의 전이 학습이 도움이 되며(FEVER_KILT가 특히 두드러짐), 그러나 도메인 내 CREAK 학습이 가장 큰 이득을 준다.
• 주장의 엔티티 존재가 중요하며, 엔티티를 제거하면 RoBERTa-Large의 성능이 약 10점 하락한다.
• 오류와 인공물은 존재하지만 상대적으로 제한적이며, CREAK는 회수와 일반상식 추론의 혼합이 상당한 다양한 추론 유형을 보인다(샘플에서 54% 혼합).
• 외부 지식이 있어도 인간 성능과의 차이가 상당히 남아 있으며, CREAK 사례에서 상당한 본질적 추론 도전이 있음을 시사한다.