[논문 리뷰] Autoformalizing Natural Language to First-Order Logic: A Case Study in Logical Fallacy Detection

Abhinav Lalwani, Kim, Tasha외 4명|arXiv (Cornell University)|2024. 04. 18.

Logic, Reasoning, and Knowledge인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)을 사용하여 체인 오브 써포트 편지(Chain-of-Thought prompting)를 적용해 자연어 문장을 일阶논리(FOL)로 번역하는 새로운 프레임워크인 NL2FOL을 제시한다. 이후 SMT 솔버를 활용해 논리적 타당성을 검증하고 오류를 탐지한다. 이 방법은 크기가 작고 프ine-tuning 없이도 성능을 내며, Logic 데이터셋에서 F1 점수 71%를 기록했고, LogicClimate 챌린지 세트에서는 73%를 기록하여 최신 기술을 능가한다.

ABSTRACT

Translating natural language into formal language such as First-Order Logic (FOL) is a foundational challenge in NLP with wide-ranging applications in automated reasoning, misinformation tracking, and knowledge validation. In this paper, we introduce Natural Language to First-Order Logic (NL2FOL), a framework to autoformalize natural language to FOL step by step using Large Language Models (LLMs). Our approach addresses key challenges in this translation process, including the integration of implicit background knowledge. By leveraging structured representations generated by NL2FOL, we use Satisfiability Modulo Theory (SMT) solvers to reason about the logical validity of natural language statements. We present logical fallacy detection as a case study to evaluate the efficacy of NL2FOL. Being neurosymbolic, our approach also provides interpretable insights into the reasoning process and demonstrates robustness without requiring model fine-tuning or labeled training data. Our framework achieves strong performance on multiple datasets. On the LOGIC dataset, NL2FOL achieves an F1-score of 78%, while generalizing effectively to the LOGICCLIMATE dataset with an F1-score of 80%.

연구 동기 및 목표

• 라벨이 부여된 학습 데이터가 필요 없이도 자연어에서 논리적 오류를 탐지할 수 있는 강력하고 해석 가능한 방법을 개발하는 것.
• LLMs를 활용해 자연어 추론과 형식적 논리 간 격차를 메우기 위해 문장의 맥락적 기반을 고려한 일阶논리(FOL)로의 번역을 가능하게 하는 것.
• SMT 솔버를 활용해 자동으로 타당성 검사를 수행하고 반례 모델을 생성하여 논리적 오류의 원인을 설명하는 것.
• 사람이 개입할 수 있는 피드백을 수용하고 향후 합성 데이터를 활용한 미세조정이 가능한 투명하고 모듈러한 파ip라인을 구축하는 것.
• 가짜 정보나 기후 논의와 같은 다양한 분야와 논리적 추론 구조에서 일반화 능력을 확보하는 도전 과제를 해결하는 것.

제안 방법

• LLMs를 사용한 체인 오브 써포트 편지 전략을 통해 자연어 문장을 의미론적 맥락과 논리적 구조를 유지한 채 일阶논리(FOL) 수식으로 번역한다.
• SMT 솔버에서 의미 일致성을 확보하기 위해 맥락 기반 지도, 변수, 술어를 명시적으로 정의하여 FOL 번역에 통합한다.
• 번역된 FOL 수식의 부정을 공식 문법을 사용해 SMT 파일로 컴파일하여 CVC5와 같은 SMT 솔버를 활용한 자동 추론을 가능하게 한다.
• 부정 수식이 만족 가능성이 있는 경우, SMT 솔버는 원래 추론이 실패할 수 있는 상황을 보여주는 반례 모델을 생성한다.
• 이 반례 모델은 다시 LLM을 통해 자연어로 해석되어 오류의 이유를 설명하는 인간이 이해할 수 있는 설명을 제공한다.
• 이 파이프라인은 모듈러하고 해석 가능하여 피드백 통합과 다른 언어 또는 논리 체계로의 확장이 가능하다.

Figure 1: Proposed Logical Fallacy Detection Methodology: Module A converts natural language input to a first-order logic formula merged with contextual relationships, Module B compiles the negation of a given logical formula to an SMT file with well-defined sorts for variables and predicates, and M

실험 결과

연구 질문

• RQ1 LLMs는 미세조정 없이도 다양한 자연어 논증을 의미적으로 정확한 일阶논리(FOL)로 번역할 수 있는가?
• RQ2 LLM이 생성한 FOL와 SMT 솔버를 통합한 방법이 종단 간 LLM 모델 대비 논리적 오류 탐지에 얼마나 효과적인가?
• RQ3 이 방법은 LogicClimate 챌린지 세트와 같이 외부 분포 데이터셋에 대해 일반화 가능한가? 성능 저하가 최소한인가?
• RQ4 SMT 솔버가 생성한 반례 모델이 LLM에 의해 충실하게 해석되어 실질적인 인간이 이해할 수 있는 설명을 도출할 수 있는가?
• RQ5 종단 간 모델 대비 단계별 모듈러 접근 방식은 해석 가능성, 내성성, 그리고 제로샷 오류 탐지 성능 측면에서 어떻게 비교되는가?

주요 결과

• NL2FOL 프레임워크는 라벨이 없는 데이터와 미세조정 없이도 표준 Logic 데이터셋에서 F1 점수 71%를 기록하여 뛰어난 성능을 보였다.
• 더 어려운 LogicClimate 벤치마크에서는 F1 점수 73%를 기록했으며, 더 큰 크기의 기존 최신 기술보다 21%포인트 높은 성능을 기록했다.
• 이 방법은 기후 관련 논증을 포함한 새로운 도메인으로도 일반화가 성공적으로 이루어져 제로샷 일반화 능력이 뛰어나다는 것을 보여주었다.
• SMT 솔버가 생성한 반례 모델은 LLM에 의해 효과적으로 해석되어 특정 논증이 오류임을 설명하는 의미 있는 자연어 설명을 제공했다.
• 표 1에 나열된 다양한 오류 유형에 걸쳐 일관된 성능을 보여, 입력의 문법적·의미적 변형에 대해 강건함을 입증했다.
• 주요 한계는 LLM이 진정한 지식과 복잡한 논리적 구조(예: 중첩된 논리합과 논리곱)를 정확히 식별하지 못해 FOL 번역에 오류를 일으킬 수 있다는 점이다.

Figure 2: Interpretation of results from a counter-example.