[논문 리뷰] Fact-driven Logical Reasoning.

Siru Ouyang, Zhuosheng Zhang외 1명|arXiv (Cornell University)|2021. 05. 21.

Topic Modeling참고 문헌 40인용 수 9

한 줄 요약

이 논문은 문장을 주어-동사-목적어 사실 단위로 모델링하여 국소적이고 전반적인 지식을 모두 포착하는 사실 기반 논리적 추론 프레임워크인 Focal Reasoner를 제안한다. 이러한 단위들로부터 슈퍼그래프를 구성하고 질문-선택지 간의 상호작용을 통합함으로써, ReClor 및 LogiQA에서 최신 기준 성능을 달성하며 이전 방법들에 비해 뚜렷한 우월성을 보인다.

ABSTRACT

Logical reasoning, which is closely related to human cognition, is of vital importance in human's understanding of texts. Recent years have witnessed increasing attentions on machine's logical reasoning abilities. However, previous studies commonly apply ad-hoc methods to model pre-defined relation patterns, such as linking named entities, which only considers global knowledge components that are related to commonsense, without local perception of complete facts or events. Such methodology is obviously insufficient to deal with complicated logical structures. Therefore, we argue that the natural logic units would be the group of backbone constituents of the sentence such as the subject-verb-object formed facts, covering both global and local knowledge pieces that are necessary as the basis for logical reasoning. Beyond building the ad-hoc graphs, we propose a more general and convenient fact-driven approach to construct a supergraph on top of our newly defined fact units, and enhance the supergraph with further explicit guidance of local question and option interactions. Experiments on two challenging logical reasoning benchmark datasets, ReClor and LogiQA, show that our proposed model, extsc{Focal Reasoner}, outperforms the baseline models dramatically. It can also be smoothly applied to other downstream tasks such as MuTual, a dialogue reasoning dataset, achieving competitive results.

연구 동기 및 목표

• 기존 방법들이 일시적인 관계 패tern에 의존하고 국소적 사실 수준의 인식을 忽시하는 한계를 해결하기 위해.
• 복잡한 논리적 구조를 모델링하는 데에 전반적 지식에만 의존하는 접근 방식의 부족함을 보완하기 위해.
• 국소적 사실 단위와 전반적 추론 구성 요소를 통합하는 일반적이고 유연한 프레임워크를 도입하기 위해.
• 질문, 선택지, 사실 수준 표현 간의 상호작용을 명시적으로 모델링하여 추론을 향상시키기 위해.
• 전용 벤치마크를 넘어서 다양한 후행 추론 작업에 광범위하게 적용 가능하도록 하기 위해.

제안 방법

• 문장 내 완전한 사실을 표현하기 위해 기본 논리 단위를 주어-동사-목적어 삼중조로 정의한다.
• 입력 텍스트 전반에 걸친 사실 단위를 집계하여 종합적인 추론 구조를 형성하는 슈퍼그래프를 구성한다.
• 주의 메커니즘을 통해 국소적 질문 및 선택지 표현을 슈퍼그래프에 통합하여 추론을 지도한다.
• 질문/선택지와 사실 단위 간의 명시적 상호작용 모델링을 통해 추론 경로를 정밀하게 보완한다.
• 논리적 추론 데이터셋에서의 지도 신호를 통해 모델을 종합적으로 훈련시킨다.
• 유사한 사실 기반 슈퍼그래프 구축 방식을 활용하여 MuTual과 같은 다른 작업에 프레임워크를 적응시킨다.

실험 결과

연구 질문

• RQ1 문장을 주어-동사-목적어 사실 단위로 모델링하는 것이 일시적인 관계 패턴을 넘어서 논리적 추론 성능을 향상시킬 수 있는가?
• RQ2 사실 기반 슈퍼그래프에 국소적 질문 및 선택지 상호작용을 통합하면 추론 성능이 향상되는가?
• RQ3 제안된 사실 기반 접근 방식이 다양한 논리적 추론 벤치마크에서 일반화되는 정도는 어떠한가?
• RQ4 대화 이해와 같은 전용 추론 작업이 아닌 과제로 이 프레임워크를 얼마나 넓게 확장할 수 있는가?
• RQ5 복잡한 추론에서 국소적 사실 인식과 전반적 지식 활용 간의 상대적 기여도는 어느 정도인가?

주요 결과

• Focal Reasoner는 ReClor 벤치마크에서 최신 기준 성능을 달성하며 기존 모델들을 압도한다.
• 모델은 LogiQA 데이터셋에서 뚜렷한 성능 향상을 보이며, 복잡한 논리적 추론에 대한 강력한 일반화 능력을 입증한다.
• 사실 기반 슈퍼그래프 구축 방식은 이전의 일시적인 그래프 방법들보다 더 정교한 논리적 종속성을 모델링하는 데에 유리하다.
• 질문-선택지 상호작용을 명시적으로 통합함으로써 추론 정확도에 측정 가능한 향상이 이루어진다.
• 대화 추론 데이터셋인 MuTual에서도 경쟁 가능한 성능을 달성하여 강력한 전이 가능성(transferability)을 보여준다.
• 이 방법은 국소적 사실 인식과 전반적 지식 활용을 효과적으로 균형 잡아 뛰어난 추론 결과를 이끌어낸다.