[논문 리뷰] LogiQA: A Challenge Dataset for Machine Reading Comprehension with Logical Reasoning

Liu Jian, Leyang Cui외 4명|arXiv (Cornell University)|2020. 07. 16.

Topic Modeling참고 문헌 29인용 수 5

한 줄 요약

LogiQA는 추론 능력, 특히 범주적, 조건적, 결합적, 배타적 추론을 테스트하는 대규모 전문가 제작 읽기 이해 질문 8,678개로 구성된 데이터셋을 소개한다. 최신 딥러닝 모델인 RoBERTa의 정확도는 40.38%에 불과하지만 인간의 성능은 96.00%에 이르며, 이는 심각한 성능 격차를 보이며 LogiQA가 신경망 NLP 모델의 논리적 추론 능력 향상에 기반이 되는 벤치마크로 자리매김함을 시사한다.

ABSTRACT

Machine reading is a fundamental task for testing the capability of natural language understanding, which is closely related to human cognition in many aspects. With the rising of deep learning techniques, algorithmic models rival human performances on simple QA, and thus increasingly challenging machine reading datasets have been proposed. Though various challenges such as evidence integration and commonsense knowledge have been integrated, one of the fundamental capabilities in human reading, namely logical reasoning, is not fully investigated. We build a comprehensive dataset, named LogiQA, which is sourced from expert-written questions for testing human Logical reasoning. It consists of 8,678 QA instances, covering multiple types of deductive reasoning. Results show that state-of-the-art neural models perform by far worse than human ceiling. Our dataset can also serve as a benchmark for reinvestigating logical AI under the deep learning NLP setting. The dataset is freely available at https://github.com/lgw863/LogiQA-dataset

연구 동기 및 목표

• 현대 NLP에서 자주 간과되는 핵심 인간 인지 능력인 논리적 추론을 테스트하는 대규모 고품질 데이터셋의 부족 문제를 해결하기 위해.
• 사실 기억이나 일반 지식 추론을 넘어서 형식적 논리적 구조에 중점을 두어 추론 능력을 평가하는 벤치마크 데이터셋을 구축하기 위해.
• 전문가가 작성한 논리적 시험 문제를 바탕으로 한 데이터셋을 제공하여 딥러닝 모델의 논리적 추론 잠재력 재평가를 위해.
• 현재 신경망 아키텍처가 조건문 내의 必要성, 충분성, 부정과 같은 복잡한 논리 관계를 다룰 때의 한계를 규명하기 위해.
• 딥러닝 NLP 프레임워크 내에서 논리적 AI 연구를 재진흥하는 기초 자료를 제공하기 위해.

제안 방법

• 공개된 전문가 제작 논리적 추론 시험 문제에서 유래한 데이터셋으로, 그림, 차트, 복잡한 수학 문제를 포함한 문제는 제외하였다.
• 범주적, 충분 조건, 필수 조건, 배타적, 결합적 추론 등 다섯 가지 추론 유형을 수작업으로 선별하여 광범위한 논리적 다양성을 확보하였다.
• 각 QA 인스턴스는 전제가 포함된 문장과 네 개의 후보 답이 있는 질문을 포함하며, 정답은 어휘적 일치가 아닌 논리적 추론에 의존한다.
• RoBERTa, BERT, 다양한 어텐션 기반 독해 모델을 평가하여 논리적 추론 작업에서의 성능을 측정하였다.
• 표면적 일치에 의존하는지 평가하기 위해 어휘 일치 분석을 수행하였으며, 각 인스턴스에서 최고 일치 후보를 식별하여 비교하였다.
• 모델 실패 사례의 질적 분석을 통해 부정의 오해 및 복잡한 조건문 논리의 오해에 초점을 맞추었다.

실험 결과

연구 질문

• RQ1 최신 신경망 독해 모델은 조건적 및 결합적 추론과 같은 복잡한 논리적 추론 작업으로 일반화할 수 있는가?
• RQ2 Neural 모델은 LogiQA의 질문에 답할 때 논리적 추론보다 어휘 일치에 얼마나 의존하는가?
• RQ3 RoBERTa 같은 모델은 특히 부정이 포함된 경우 필수적 또는 충분한 조건적 추론에서 왜 어려움을 겪는가?
• RQ4 성능는 다양한 논리적 추론 유형 간에 어떻게 달라지며, 현재 모델이 가장 어려워하는 추론 유형은 무엇인가?
• RQ5 LogiQA는 심볼릭 논리와 딥러닝의 통합을 재평가하기 위한 실질적인 벤치마크로 활용될 수 있는가?

주요 결과

• RoBERTa는 전체 LogiQA 데이터셋에서 40.38%의 정확도를 기록했으며, 인간의 최고 성능 96.00%에 비해 심각한 성능 격차를 보이며 논리적 추론 능력의 격차를 확인한다.
• 최고 성능를 기록한 베이스라인 모델인 RoBERTa도 조건적 추론에서는 여전히 부족함을 보이며, 충분 조건 추론에서는 17.11%, 필수 조건 추론에서는 19.29%의 정확도를 기록하였다.
• 결합적 및 배타적 추론에서는 각각 21.98% 및 22.67%의 정확도를 기록하여 복잡한 논리적 조합을 다루는 데 특별한 어려움을 겪고 있음을 확인하였다.
• 어휘 일치 비율 분석 결과 RoBERTa의 경우 다른 모델보다 어휘 일치 의존도가 낮아 32.08%의 일치 비율을 기록하였으며, 이는 표면적 일치에 덜 의존함을 시사한다.
• 사례 연구 결과 RoBERTa가 논리적 문장 내의 부정을 해석하지 못하는 경우가 빈번히 발생하며, 특히 x => ¬z 조건 관계에서 그러한 오류가 빈번히 발생함을 확인하여 부정 처리에 대한 기존 한계를 재확인하였다.
• 어휘 일치 기반 모델은 100%의 일치 정확도를 기록했지만 실제 정확도는 28.37%에 그쳐, 어휘 일치만으로는 논리적 추론이 불가능함을 입증하였다.