[논문 리뷰] AR-LSAT: Investigating Analytical Reasoning of Text

Wanjun Zhong, Siyuan Wang외 7명|arXiv (Cornell University)|2021. 04. 14.

Topic Modeling참고 문헌 41인용 수 6

한 줄 요약

이 논문은 1991–2016년도 LSAT 분석적 추론 문제에서 유도된 새로운 데이터셋인 AR-LSAT을 소개하고, 기호 지식을 추출하고 해석 가능한 논리적 추론을 적용하는 논리 수준의 추론 프레임워크인 분석적 추론 기계(ARM)를 제안한다. ARM는 표면 의미 이면의 추론에 한계를 가진 트랜스포머 기반 모델들과는 달리 뛰어난 성능을 보이며, 복잡한 분석 작업에서 기호 추론의 필요성을 부각시킨다.

ABSTRACT

Analytical reasoning is an essential and challenging task that requires a system to analyze a scenario involving a set of particular circumstances and perform reasoning over it to make conclusions. In this paper, we study the challenge of analytical reasoning of text and introduce a new dataset consisting of questions from the Law School Admission Test from 1991 to 2016. We analyze what knowledge understanding and reasoning abilities are required to do well on this task. Furthermore, to address this reasoning challenge, we design two different baselines: (1) a Transformer-based method which leverages the state-of-the-art pre-trained language models and (2) Analytical Reasoning Machine (ARM), a logical-level reasoning framework extracting symbolic knowledge (e.g, participants, facts, logical functions) to deduce legitimate solutions. In our experiments, we find that the Transformer-based models struggle to solve this task as their performance is close to random guess and ARM achieves better performance by leveraging symbolic knowledge and interpretable reasoning steps. Results show that both methods still lag far behind human performance, which leave further space for future research.

연구 동기 및 목표

• 자연어 텍스트에서의 분석적 추론의 과제를 조사하기 위해.
• 복잡한 논리적 추론 작업을 평가하기 위한 벤치마크 데이터셋을 개발하기 위해.
• 신경망과 기호 추론의 두 가지 다른 접근 방식을 설계하고 평가하기 위해.
• 현재 사전 학습된 모델의 핵심 한계를 특정하고 향후 해석 가능한 기호 추론 분야의 연구 방향을 제안하기 위해.

제안 방법

• 1991–2016년 LSAT 분석적 추론 문제를 기반으로 한 벤치마크용 AR-LSAT 데이터셋을 제안한다.
• 사전 학습된 언어 모델(예: BERT, RoBERTa)을 사용하여 맥락을 인코딩하고 답변 선택지를 분류하는 트랜스포머 기반 베이스라인을 설계한다.
• 텍스트에서 참가자, 사실, 규칙을 추출하는 기호 프레임워크인 분석적 추론 기계(ARM)를 개발한다.
• 기호 파싱을 사용하여 자연어 규칙을 실행 가능한 논리 함수로 변환한다(예: 'A가 X에 있으면 B는 Y에 있다').
• 모든 제약 조건에 대해 후보 솔루션의 일관성을 점검함으로써 논리적 추론을 수행한다.
• 점수 기반 메커니즘을 사용하여 선택지를 유효한 할당과 매칭시켜 해석 가능한 예측을 가능하게 한다.

실험 결과

연구 질문

• RQ1 BERT와 RoBERTa와 같은 사전 학습된 신경망 모델이 깊은 논리적 추론이 필요한 복잡한 분석적 추론 작업을 해결할 수 있는가?
• RQ2 분석적 추론 문제를 해결하기 위해 필수적인 기호 지식 구성 요소(참가자, 사실, 규칙)는 무엇인가?
• RQ3 ARM와 같은 기호 추론 시스템은 성능과 해석 가능성 측면에서 신경 기반 베이스라인과 어떻게 비교되는가?
• RQ4 현재 모델들이 자연어 제약 조건을 이해하고 추론하는 데에서 나타나는 주요 실패 유형은 무엇인가?

주요 결과

• 트랜스포머 기반 모델은 근처의 랜덤 성능(약 20% 정확도)에 가까운 성능을 보이며, 표면 의미를 넘어서는 깊은 추론 능력에 심각한 한계를 드러낸다.
• ARM는 개발 세트에서 34.2%의 정확도, 테스트 세트에서 30.9%의 정확도를 기록하여 신경 기반 베이스라인을 크게 앞서간다.
• 인간의 성능는 두 모델보다 훨씬 높아 향후 연구를 위한 큰 격차가 있음을 시사한다.
• ARM의 주요 오류 유형으로는 부족한 규칙 파싱(예: '최소' 의미 누락), 참가자/위치 추출 오류, 일반 지식의 부족 등이 있다.
• 연구는 특히 복잡하거나 암묵적인 의미적 규칙에 대해 기호 파싱과 논리적 추론이 핵심적인 병목 현상임을 특정한다.
• 결과적으로 신경망과 기호 시스템의 통합이 NLP 분야에서 분석적 추론을 발전시키는 데 필수적일 수 있음을 시사한다.