[논문 리뷰] Logical Reasoning over Natural Language as Knowledge Representation: A Survey

Zonglin Yang, Xinya Du외 3명|arXiv (Cornell University)|2023. 03. 21.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 자연어를 지식 표현 방식으로 사용하고 사전학습된 언어 모델(PLMs)을 추론 엔진으로 사용하는 새로운 패러다임인 자연어 기반 논리적 추론(LRNL)을 소개한다. 이는 기호적 방법과 엔드 투 엔드 신경망 방법 모두에 비해 우월한 특성을 지닌다. LRNL에서 연역적, 귀납적, 추론적 추론에 대한 종합적인 조사를 제공하며, 벤치마크, 도전 과제, 향후 방향성도 포함한다.

ABSTRACT

Logical reasoning is central to human cognition and intelligence. It includes deductive, inductive, and abductive reasoning. Past research of logical reasoning within AI uses formal language as knowledge representation and symbolic reasoners. However, reasoning with formal language has proved challenging (e.g., brittleness and knowledge-acquisition bottleneck). This paper provides a comprehensive overview on a new paradigm of logical reasoning, which uses natural language as knowledge representation and pretrained language models as reasoners, including philosophical definition and categorization of logical reasoning, advantages of the new paradigm, benchmarks and methods, challenges of the new paradigm, possible future directions, and relation to related NLP fields. This new paradigm is promising since it not only alleviates many challenges of formal representation but also has advantages over end-to-end neural methods. This survey focus on transformer-based LLMs explicitly working on deductive, inductive, and abductive reasoning over English representation.

연구 동기 및 목표

• 자연어를 지식 표현 방식으로, PLMs를 추론 엔진으로 사용하는 새로운 AI 패러다임으로서 자연어 기반 논리적 추론(LRNL)을 소개하고 체계화한다.
• 자연어의 표현력과 접근성 덕분에 기존 기호적 추론의 취약성과 지식 확보의 병목 현상 등의 한계를 해결한다.
• 연역적, 귀납적, 추론적 추론의 통합적 설문을 제공하며, 작업 정의, 데이터셋, 방법을 포함한다.
• 평가, 확장성, 추론 메커니즘 분야의 주요 과제를 규명하고, 더 견고하고 일반화 가능한 추론 시스템을 위한 향후 연구 방향을 제안한다.
• 체인 오브 타ught와 같은 엔드 투 엔드 LLM 프롬프팅 기법과의 차이를 명확히 하여, LRNL이 모듈러하고 미세조정 가능하며 신경 기반 기호적 성격을 지닌다는 점을 강조한다.

제안 방법

• 형식 논리(예: 일阶논리) 대신 자연어를 지식 표현 형식으로 사용하여 인간이 이해하기 쉬운 지식 인코딩을 가능하게 한다.
• 사전학습된 언어 모델(PLMs)을 추론 엔진으로 활용하여, 소수의 프롬프트 또는 추론 작업에 대한 미세조정을 통해 추론을 수행한다.
• 지식 기반에서 관련 텍스트 전제를 검색하여 반복적인 추론을 지원함으로써, 후속 추론 단계에 입력으로 사용한다.
• 각 추론 단계를 단일 PLM 추론으로 구성하는 모듈러 프레임워크를 도입하여 추적 가능하고 해석 가능한 추론 체인을 가능하게 한다.
• 기호적 추론의 구조와 부기호적 신경망 추론을 융합한 신경 기반 기호적 접근을 제안하여 제어 가능성과 설명 가능성을 향상시킨다.
• https://github.com/ZonglinY/LRNL-bench.git 에 호스팅된 정제된 벤치마크를 활용하여 연역적, 귀납적, 추론적 추론 작업 전반에서 성능을 평가한다.

Figure 1: Comparison between the previous paradigm which uses formal representation and symbolic reasoner, and the new paradigm which uses natural language as knowledge representation and PLM as reasoner.

실험 결과

연구 질문

• RQ1 형식 논리 대신 자연어를 지식 표현 수단으로 사용할 경우 논리적 추론는 어떻게 재정의될 수 있는가?
• RQ2 유연성, 설명 가능성, 지식 확보 측면에서 기존 기호적 추론과 엔드 투 엔드 신경망 방법에 비해 LRNL의 핵심적 이점은 무엇인가?
• RQ3 LRNL 패러다임에서 연역적, 귀납적, 추론적 추론에 대해 현재 어떤 벤치마크, 데이터셋, 방법이 존재하는가?
• RQ4 특히 귀납적 및 추론적 추론에서 의미적 다양성과 다수의 타당한 결론 존재로 인해 평가가 어려운 이유는 무엇인가?
• RQ5 확률적 추론, 정보가 불완전한 상황에서의 추론, 웹 규모의 귀납적 규칙 학습 등 향후 연구 방향은 무엇이 있는가?

주요 결과

• LRNL은 자연어 표현을 통해 기계적 취약성과 지식 확보 병목 현상을 완화함으로써 형식 기반 기호적 추론의 실현 가능한 대안을 제공한다.
• 프롬프팅 또는 미세조정을 통해 PLMs가 연역적, 귀납적, 추론적 추론을 효과적으로 수행할 수 있으며, 이는 구조화된 추론 작업에서 뛰어난 성능을 보인다.
• 추론 단계가 모듈러하고 추적 가능하므로, 엔드 투 엔드 LLM 프롬프팅보다 더 높은 설명 가능성과 제어 가능성을 제공한다.
• 자연어의 의미적 다양성과 다수의 타당한 결론 존재로 인해 평가가 여전히 도전 과제로 남아 있으며, 특히 귀납적 및 추론적 추론에서 두드러진다.
• 현재의 벤치마크는 규모와 현실성 측면에서 제한되어 있으며, 전문가의 주석이 필요로 하여 대규모 배포에 어려움이 있다.
• 향후 연구는 확률적 추론, 정보가 불완전하거나 누락된 전제에서의 추론, 원시 웹 코퍼스에서 귀납적 규칙 학습을 통한 실용성 향상을 포함해야 한다.