[논문 리뷰] Neuro-Symbolic Integration Brings Causal and Reliable Reasoning Proofs

Sen Yang, Xin Li외 3명|arXiv (Cornell University)|2023. 11. 16.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(LLM)을 활용한 지식 추출과 LLM을 사용하지 않는 기호적 추론 기반의 심층적 추론을 결합한 신경기호적 프레임워크인 CaRing을 제안한다. 이는 원인관계적이고 신뢰할 수 있는 추론 증명을 보장한다. 고도로 맞춤화된 메타인터프리터를 사용해 형식화된 지식을 실행함으로써 CaRing은 7B 모델 기준 98.80%, 34B 모델 기준 100%의 거의 완벽한 정확도를 달성했으며, ProofWriter에서 CoT 기준선 대비 추론 증명 유사도가 3배 이상 높아졌고, GSM8K와 PrOntoQA에서도 뚜렷한 성능 향상을 보였다.

ABSTRACT

Two lines of approaches are adopted for complex reasoning with LLMs. One line of work prompts LLMs with various reasoning structures, while the structural outputs can be naturally regarded as intermediate reasoning steps. Another line of work adopt LLM-free declarative solvers to do the reasoning task, rendering higher reasoning accuracy but lacking interpretability due to the black-box nature of the solvers. Aiming to resolve the trade-off between answer accuracy and interpretability, we present a simple extension to the latter line of work. Specifically, we showcase that the intermediate search logs generated by Prolog interpreters can be accessed and interpreted into human-readable reasoning proofs. As long as LLMs correctly translate problem descriptions into Prolog representations, the corresponding reasoning proofs are ensured to be causal and reliable. On two logical reasoning and one arithmetic reasoning datasets, our framework obtains significant improvements in terms of both answer accuracy and reasoning proof accuracy. Our code is released at https://github.com/DAMO-NLP-SG/CaRing

연구 동기 및 목표

• 대규모 언어 모델(LLM)이 생성하는 추론 증명에서 원인관계성과 신뢰성 부족 문제를 해결하기 위해, 정답은 맞지만 잘못되거나 환각된 중간 단계를 포함하는 경우가 빈번히 발생한다는 점을 해결하고자 한다.
• 지식 표현(LLM 기반)과 심층적 추론(기호적 솔버 기반)을 분리하는 신경기호적 프레임워크를 개발하여 결정론적이고 추적 가능한 추론을 보장하고자 한다.
• 복잡한 다중 전제 추론 과제에서 특히, 골드 표준 증명과 구조적·원인관계적으로 일치하는 추론 증명을 생성하고자 한다.
• 논리적 추론(ProofWriter, PrOntoQA)과 자연어 산술 추론(GSM8K)을 포함한 다양한 추론 데이터셋에서 방법의 일반화 능력과 강건성을 평가하기 위해, 다양한 추론 데이터셋에서 평가를 수행하고자 한다.

제안 방법

• 두 단계로 구성된 신경기호적 프레임워크: 첫 번째 단계에서 LLM 기반의 기호적 표현 생성기(SymGen)가 자연어 문제를 형식화된 기계 판독 가능 지식 표현으로 변환한다.
• 두 번째 단계에서 기호적 추론 엔진(SymInfer)이 맞춤형 메타인터프리터를 사용해 형식화된 지식을 바탕으로 심층적 추론을 수행한다. 이 메타인터프리터들은 추적 가능한 실행과 다양한 탐색 전략을 지원한다.
• 기호적 솔버는 추론 과정 중 LLM과 분리되어 작동하므로 환각을 방지하고 추론 단계의 결정론적·원인관계적 실행을 보장한다.
• 메타인터프리터는 추론 경로를 추적할 수 있도록 설계되어 전체 추적 가능성과 깊이 우선 탐색 또는 최적 우선 탐색과 같은 다양한 탐색 전략을 지원한다.
• 추론 증명은 방향성 있는 비순환 그래프(DAG)로 표현되며, 예측된 증명 그래프와 골드 표준 증명 그래프 간의 정규화된 그래프 편집 거리로 유사도를 측정한다.
• 최적화된 LLM 서빙(예: vLLM)을 통해 추론 비용을 최소화하면서, 다양한 LLM 크기(7B, 13B, 34B)와 데이터셋에서 평가를 수행한다.

실험 결과

연구 질문

• RQ1 LLM이 생성하는 추론 증명의 신뢰성과 원인관계성을 크게 향상시킬 수 있는 신경기호적 접근법은, 정답은 맞지만 중간 단계에 오류가 있는 경우에도 유의미한 성능 향상을 보일 수 있는가?
• RQ2 자연어 문제를 형식 논리로 변환한 후, LLM을 사용하지 않는 기호적 솔버가 추론의 추적 가능성과 구조적 정밀도를 얼마나 잘 유지할 수 있는가?
• RQ3 언어적 복잡도가 다른 데이터셋(예: 합성 논리적 추론인 ProofWriter와 실제 세계의 산술 추론인 GSM8K) 간에 하이브리드 신경기호 시스템의 일반화 능력은 어느 정도인가?
• RQ4 지식 표현과 추론 실행을 분리함으로써, 종단 간 LLM 프롬프팅 대비 정답 정확도와 추론 증명 유사도 측면에서 측정 가능한 향상이 이루어지는가?

주요 결과

• ProofWriter에서 CaRing은 7B 모델을 사용해 98.80%의 정확도와 83.17%의 추론 증명 유사도를 달성했으며, CoT 기준선 대비 정확도는 거의 두 배(52.00%) 높고, 증명 유사도는 3배 이상(24.12%) 높았다.
• PrOntoQA에서 CaRing은 34B 모델을 사용해 100%의 정확도를 기록했으며, 간단한 자연어 논리 문장으로 구성된 데이터셋에서 뛰어난 성능을 보였다.
• GSM8K에서 CaRing은 34B 모델을 사용해 42.22%의 정확도와 22.91%의 추론 증명 유사도를 달성했으며, 가장 강력한 CoT 기준선 대비 증명 유사도가 거의 두 배 높았다(13.04%).
• 모델 크기 전반에 걸쳐 높은 성능을 유지했으며, 7B에서 34B로 갈수록 정확도가 증가함으로써 확장성과 강건성을 입증했다.
• 자연어의 본질적 모호성에도 불구하고 CaRing은 GSM8K에 효과적으로 일반화되었으며, 이는 LLM의 일반화 능력이 실제 환경에서 기호적 추론과 잘 조화된다는 것을 시사한다.
• 최적화된 LLM 서빙 덕분에 추론 비용은 낮게 유지되었으며, 가장 긴 추론 경로를 가진 경우에도 출력 길이가 약간 증가하는 데 그쳤다.