[논문 리뷰] ReClor: A Reading Comprehension Dataset Requiring Logical Reasoning

Weihao Yu, Zihang Jiang외 2명|arXiv (Cornell University)|2020. 02. 11.

Topic Modeling참고 문헌 40인용 수 127

한 줄 요약

ReClor는 로직 추론에 초점을 맞춘 대형 다지선다 읽기 이해 데이터셋을 도입하고, 테스트 데이터를 편향된 EASY와 비편향 HARD 세트로 분할하며, 최첨단 모델은 EASY에선 우수하지만 HARD에선 어려움을 겪고, 전이 학습(RACE 사전 학습)이 상당한 이점을 제공하지만 HARD에서 인간 성능 아래에 머무른다.

ABSTRACT

Recent powerful pre-trained language models have achieved remarkable performance on most of the popular datasets for reading comprehension. It is time to introduce more challenging datasets to push the development of this field towards more comprehensive reasoning of text. In this paper, we introduce a new Reading Comprehension dataset requiring logical reasoning (ReClor) extracted from standardized graduate admission examinations. As earlier studies suggest, human-annotated datasets usually contain biases, which are often exploited by models to achieve high accuracy without truly understanding the text. In order to comprehensively evaluate the logical reasoning ability of models on ReClor, we propose to identify biased data points and separate them into EASY set while the rest as HARD set. Empirical results show that state-of-the-art models have an outstanding ability to capture biases contained in the dataset with high accuracy on EASY set. However, they struggle on HARD set with poor performance near that of random guess, indicating more research is needed to essentially enhance the logical reasoning ability of current models.

연구 동기 및 목표

• GMAT/LSAT 시험에서 소스된 논리적 추론이 요구되는 읽기 이해 데이터셋 ReClor를 소개합니다.
• 데이터 편향을 식별하기 위해 편향된(EASY) 데이터와 비편향(HARD) 데이터를 구분하여 추론 능력을 포괄적으로 평가합니다.
• ReClor에서 최첨단 사전 학습 모델의 성능을 평가하여 데이터 편향 의존도 대비 진정한 추론 능력을 평가합니다.
• RACE에서 미세조정한 후 ReClor 학습에 적용하는 전이 학습을 검토하여 추론 과제의 이득을 평가합니다.

제안 방법

• GMAT/LSAT 소스에서 6,138개의 논리적 추론 문제를 수집하고 선택지를 섞어 4지선다형 형식으로 변환합니다.
• 강력한 베이스라인에 정답 옵션만 입력하여 편향된 데이터를 식별하기 위해 여러 시드로 예측을 교차합니다.
• 추론 능력과 편향 활용을 구분하기 위해 EASY vs HARD 서브셋에서 모델 성능을 비교합니다.
• 다양한 입력 설정(C/Q/A) 및 RACE 사전 학습 여부에 따라 기본 모델(GPT, GPT-2, BERT, XLNet, RoBERTa)을 훈련 및 평가합니다.
• 질문 유형 분포(17가지 유형)를 분석하고 HARD vs EASY에서 성능을 살펴보며 추론의 도전 과제를 이해합니다.
• ReClor 이전에 RACE에서 미세조정한 후 전이 학습을 시연하고 개선을 보고합니다. 특히 HARD에서.

실험 결과

연구 질문

• RQ1 현재 NLP 모델이 표준화된 시험에서 구성된 데이터세트에서 진정한 논리적 추론을 수행할 수 있는가?
• RQ2 최첨단 모델이 주로 데이터세트 편향을 활용하는가, EASY/HARD 분할이 이 행동을 드러내는가?
• RQ3 관련 시험 스타일 데이터(RACE)에서의 사전 학습 또는 미세조정이 ReClor에서의 추론 성능을 특히 HARD 케이스에서 향상시키는가?

주요 결과

• ReClor는 유사한 MRC 데이터셋과 크기가 비슷하고 어휘가 많으며 맥락은 비교적 간결합니다.
• 모델은 EASY 세트에서 잘 수행하지만(편향 주도) HARD 세트에서 고전적인 확률에 접근하며 30-40% 정도로 제한적으로 추론을 보여줍니다.
• 트랜스포머 기반 모델은 EASY에서 더 높은 정확도(~60% 이상)을 달성하지만 HARD에서 약 30-40%에 머물러 실제 논리적 추론의 한계를 시사합니다.
• RACE에서 ReClor 이전에 미세조정하면 특히 HARD에서 상당한 이득을 얻지만 여전히 대학원생/인간 성능 아래입니다.
• 인간은 EASY와 HARD에서 더 일관된 성능을 유지하며 머신 편향 활용과 진정한 추론 사이의 차이를 강조합니다.
• 분석에 따르면 편향 신호는 어휘적 단서 및 옵션 길이 차이를 포함하고 특정 질문 유형(예: 강화/약화, 역할)이 HARD에서 특히 도전적임을 시사합니다.