[논문 리뷰] Logic-Driven Context Extension and Data Augmentation for Logical Reasoning of Text

Siyuan Wang, Wanjun Zhong외 6명|arXiv (Cornell University)|2021. 05. 08.

Topic Modeling인용 수 12

한 줄 요약

이 논문은 논리 기반 접근법을 제안하여 텍스트 내 논리적 추론을 향상시킨다. 구체적으로 논리 기호와 표현을 명시적으로 식별하고, 논리적 동치 법칙을 기반으로 한 문맥 확장 프레임워크와 의미적으로 유사하지만 논리적으로는 다름을 갖는 인스턴스를 생성하는 데이터 증강 기법을 사용한다. 이 방법은 ReClor에서 최고 성능을 기록하며, EASY 및 HARD 세트에서 인간 성능을 초월한다. 다중 모델 앙상블을 통해 달성된다.

ABSTRACT

Logical reasoning of text requires understanding critical logical information in the text and performing inference over them. Large-scale pre-trained models for logical reasoning mainly focus on word-level semantics of text while struggling to capture symbolic logic. In this paper, we propose to understand logical symbols and expressions in the text to arrive at the answer. Based on such logical information, we not only put forward a context extension framework but also propose a data augmentation algorithm. The former extends the context to cover implicit logical expressions following logical equivalence laws. The latter augments literally similar but logically different instances to better capture logical information, especially logical negative and conditional relationships. We conduct experiments on ReClor dataset. The results show that our method achieves the state-of-the-art performance, and both logic-driven context extension framework and data augmentation algorithm can help improve the accuracy. And our multi-model ensemble system is the first to surpass human performance on both EASY set and HARD set of ReClor.

연구 동기 및 목표

• 단어 수준의 의미에만 의존하는 것이 아니라, 상징 논리학을 명시적으로 모델링하여 텍스트 기반 논리적 추론을 향상시키는 것.
• 사전 훈련된 모델이 상징 논리, 특히 논리적 否정과 조건문을 포착하는 데에 한계가 있음을 해결하는 것.
• 논리적 동치 법칙을 활용해 암묵적인 논리 표현을 추론하는 문맥 확장 프레임워크를 개발하는 것.
• 유사하게 보이지만 논리적으로는 다름을 갖는 예시를 생성하여 일반화 능력을 향상시키기 위한 데이터 증강 전략을 설계하는 것.
• ReClor 벤치마크에서 최고 성능을 달성하며, EASY 및 HARD 세트에서 인간 성능을 초월하는 것.

제안 방법

• 논리 기반 문맥 확장 프레임워크는 입력 텍스트 내에서 논리 기호와 표현을 식별하고, 대응법칙, 드 모르간의 법칙 등과 같은 논리적 동치 법칙을 적용하여 암묵적인 논리 표현을 추론한다.
• 추론된 논리 표현은 자연어로 변환되어 원본 문맥에 추가되어 사전 훈련된 모델에 입력되는 확장된 문맥을 형성한다.
• 데이터 증강 알고리즘은 부정 및 조건문 변환과 같은 연산을 사용해 논리 표현을 수정하여 의미적으로 유사하지만 논리적으로는 다른 훈련 인스턴스를 생성한다.
• 증강된 데이터는 대비 학습을 통해 사전 훈련된 모델(RoBERTa 및 ALBERT)을 미세조정하는 데 사용되며, 모델이 미세한 논리적 차이를 구분하는 능력을 향상시킨다.
• 다중 모델 앙상블 시스템은 RoBERTa 및 ALBERT의 예측을 통합하여 ReClor 벤치마크에서의 견고성과 성능을 향상시킨다.
• 시스템은 LSAT 및 GMAT 시험에서 유래된 벤치마크 데이터셋인 ReClor에서 평가되며, 추론 능력을 평가하기 위해 별도의 EASY 및 HARD 테스트 세트를 제공한다.

실험 결과

연구 질문

• RQ1 논리 기호와 표현을 명시적으로 모델링하면 텍스트 기반 논리적 추론 작업의 성능 향상에 기여하는가?
• RQ2 논리적 동치 법칙을 사용해 자연어 문맥 내에서 암묵적인 논리적 내용을 얼마나 잘 추론하고 확장할 수 있는가?
• RQ3 논리 변환 기반 데이터 증강이 일반화 능력을 향상시키는 데 기여하는가, 특히 否정 및 조건문과 같은 어려운 논리 관계에 대해 말이다?
• RQ4 논리 기반 문맥 확장과 데이터 증강을 통합하면 표준 사전 훈련된 모델보다 성능 향상이 이루어지는가?
• RQ5 논리 증강 시스템은 ReClor와 같은 논리적 추론 벤치마크에서 인간 성능을 초월할 수 있는가?

주요 결과

• 제안된 논리 기반 문맥 확장 프레임워크는 공식적 추론을 통해 암묵적인 논리 표현을 드러내어 추론 정확도를 크게 향상시킨다.
• 논리 기반 데이터 증강 알고리즘은 논리적 否정과 조건문 관계를 구분하는 데 있어 모델의 견고성을 향상시켜 명확한 성능 향상을 이룬다.
• 다중 모델 앙상블 시스템은 ReClor 벤치마크에서 최고 성능을 기록했으며, EASY 및 HARD 테스트 세트에서 이전 방법들을 모두 압도했다.
• 이 시스템은 ReClor의 EASY 및 HARD 세트에서 인간 성능을 모두 초월한 최초의 시스템으로, 복잡한 논리적 추론에서의 효과성을 입증했다.
• 이 방법은 특히 어려운 인스턴스에서 강력한 일반화 능력을 보였지만, '매칭 결함'과 '약화'와 같은 특정 추론 유형에서는 여전히 성능 제한이 존재한다.
• 제거 실험 결과, 문맥 확장 및 데이터 증강 구성 요소가 모두 전체 성능 향상에 독립적으로 기여하는 것으로 확인되었다.