[논문 리뷰] Natural Language Reasoning, A Survey

F. Richard Yu, Hongbo Zhang외 2명|arXiv (Cornell University)|2023. 03. 26.

Natural Language Processing Techniques인용 수 11

한 줄 요약

이 조사는 NLP에서 자연어 추론에 대한 명확한 정의와 분류 체계를 제시하고, 핵심 작업 영역에서 PLM 기반 접근법을 검토하며, 역추론을 강조하고, 탈양립 추론(defeasible reasoning)을 향후 방향으로 논의한다.

ABSTRACT

This survey paper proposes a clearer view of natural language reasoning in the field of Natural Language Processing (NLP), both conceptually and practically. Conceptually, we provide a distinct definition for natural language reasoning in NLP, based on both philosophy and NLP scenarios, discuss what types of tasks require reasoning, and introduce a taxonomy of reasoning. Practically, we conduct a comprehensive literature review on natural language reasoning in NLP, mainly covering classical logical reasoning, natural language inference, multi-hop question answering, and commonsense reasoning. The paper also identifies and views backward reasoning, a powerful paradigm for multi-step reasoning, and introduces defeasible reasoning as one of the most important future directions in natural language reasoning research. We focus on single-modality unstructured natural language text, excluding neuro-symbolic techniques and mathematical reasoning.

연구 동기 및 목표

• 철학과 NLP 실무에 뿌리를 둔 NLP를 위한 자연어 추론(NLR)의 차별화된 정의를 제안한다.
• 추론 유형의 분류 체계를 개발하고 NLR이 필요한 작업을 식별한다.
• 고전적 논리 추론, 자연어 추론, 다중 홉 QA, 상식 추론에 걸친 NLP 내 NLR에 대한 포괄적 문헌 조사를 제공한다.
• 다중단계 추론을 위한 강력한 패러다임으로서 역방향 추론을 강조하고, 탈양립 추론(defeasible reasoning)을 향후 핵심 방향으로 논의한다.

제안 방법

• 철학과 NLP 관점을 통합하여 NLR의 개념을 명확히 한다.
• 추론 유형의 분류 체계(deductive vs defeasible)를 도입하고 이를 NLP 작업에 매핑한다.
• 벤치마크를 가로질러 PLM 기반의 NLR 접근법을 검토하고 분류한다(엔드투엔드, forward, backward).
• 역방향 추론과 사고사(Chain-of-Thought) 프롬프트를 실용적 기법으로 논의한다.
• 한계와 향후 방향, 탈양립 추론 및 추론 경로의 충실성 등을 식별한다.

실험 결과

연구 질문

• RQ1 NLP에서 자연어 추론이란 무엇이며, 여러 학문 간에 일관되게 정의될 수 있는가?
• RQ2 NLP의 어떤 작업이 추론을 필요로 하며, 이를 어떻게 분류해야 하는가?
• RQ3 사전 학습된 언어 모델이 NLR을 어떻게 수행하며, 어떤 방법론(end-to-end, forward, backward)이 효과적인가?
• RQ4 역방향 추론이 무엇이며, 효율성 및 해석 가능성 측면에서 forward 추론과 어떻게 비교되는가?
• RQ5 탈양립 추론 및 추론 경로의 충실성과 같은 NLR의 유망한 미래 방향은 무엇인가?

주요 결과

• 철학, 논리, NLP의 관심사를 결합한 NLP에서의 자연어 추론에 대한 차별화된 정의가 제안된다.
• 벤치마크와 방법론을 다루는 PLM 기반 NLR 접근법의 포괄적 검토가 제공된다.
• 역방향 추론이 중요한 yet 충분히 탐구되지 않은 패러다임으로 확인되며, 잠재적 효율성 이점을 가진다.
• defeasible reasoning이 NLP 솔루션 및 해석가능성에 대한 시사점을 갖는 주요한 향후 방향으로 강조된다.
• Chain-of-Thought prompting 및 추론 경로는 다중 단계 추론을 향상시키고 대형 모델에서 학습되거나 프롬프트될 수 있다.
• (plausible) PLMs는 도메인 전반에 걸친 추론 작업을 위해 명시적 지식과 암묵적 지식을 통합할 잠재력을 보인다.