[논문 리뷰] LAMBADA: Backward Chaining for Automated Reasoning in Natural Language

Seyed Mehran Kazemi, Najoung Kim외 3명|arXiv (Cornell University)|2022. 12. 20.

Natural Language Processing Techniques인용 수 5

한 줄 요약

LAMBADA는 대규모 언어모델(LMs)을 사용하여 자연어에서 자동 추론을 위한 백워드 체이닝 방식을 도입한다. 추론을 네 가지 모듈러형, 소수량 프롬프트가 적용된 LM 구성요소로 분해한다: 목표 분해, 규칙 선택, 사실 확인, 부호 일치. 복잡한 논리적 추론 작업에서 전방 체이닝 방법에 비해 뚜렷한 정확도 향상을 이룬다. 특히 깊은 추론 체인에서 성능이 뛰어나며, 더 적은 쿼리 사용량으로도 작동하고, 부도덕한 증명 추적의 위험도 낮추어진다.

ABSTRACT

Remarkable progress has been made on automated reasoning with natural text, by using Language Models (LMs) and methods such as Chain-of-Thought and Selection-Inference. These techniques search for proofs in the forward direction from axioms to the conclusion, which suffers from a combinatorial explosion of the search space, and thus high failure rates for problems requiring longer chains of reasoning. The classical automated reasoning literature has shown that reasoning in the backward direction (i.e. from the intended conclusion to supporting axioms) is significantly more efficient at proof-finding. Importing this intuition into the LM setting, we develop a Backward Chaining algorithm, called LAMBADA, that decomposes reasoning into four sub-modules. These sub-modules are simply implemented by few-shot prompted LM inference. We show that LAMBADA achieves sizable accuracy boosts over state-of-the-art forward reasoning methods on challenging logical reasoning datasets, particularly when deep and accurate proof chains are required.

연구 동기 및 목표

• 전방 체이닝 추론의 한계를 해결하기 위해, 특히 장기 추론 체인에서 조합 폭발과 높은 실패율을 겪는 언어모델(LMs)의 문제를 해결하기 위함.
• 기존의 고전적 자동 추론에서 널리 쓰이는 백워드 체이닝이 언어모델(LMs)에 효과적으로 적용될 수 있는지 탐색하기 위함.
• 백워드 체이닝을 사용한 증명 기획을 위한 모듈러형, 소수량 프롬프트가 적용된 언어모델 시스템을 개발하기 위함.
• 특히 깊은 추론 체인이 필요한 문제에서 자연스러운 텍스트를 포함한 추론 작업의 정확도와 신뢰성을 향상시키기 위함.
• 피지컬 훈련된 또는 암묵적 추론을 하는 언어모델에 비해 더 높은 내성성 확보를 위해 부도덕한 상관관계에 대한 의존도를 줄이기 위함.

제안 방법

• 추론을 네 가지 하위 모듈로 분해: 목표 분해, 규칙 선택, 사실 확인, 부호 일치. 각 모듈은 소수량 프롬프트가 적용된 언어모델 추론으로 구현.
• 전방 체이닝의 조합적 탐색을 피하기 위해 목표에서 시작하여 순차적으로 하위 목표로 분해하는 백워드 체이닝을 사용.
• 이중 단계 프로세스를 적용: 첫 번째로 함의 패턴에 기반해 관련 규칙을 선택하고, 두 번째로 선택된 사실이 목표를 지지하는지 또는 반박하는지 확인.
• 목표의 논리적 부호와 규칙의 함의 간 일치 여부를 점검하기 위해 부호 일치 모듈을 도입하여 신뢰성 향상.
• 반복적인 사실 선택 및 검증(알고리즘 3 참조)을 통해 사실이 목표를 지지하는지, 반박하는지, 또는 관련이 없는지 테스트.
• 피지컬 훈련 없이 소수량 프롬프트를 활용해 각 모듈을 안내함으로써, 다양한 추론 작업에 대해 제로샷 일반화를 가능하게 함.

실험 결과

연구 질문

• RQ1 언어모델(LMs)에서 백워드 체이닝이 전방 체이닝 방법에 비해 복잡한 논리적 추론 작업에서 성능을 뚜렷이 향상시킬 수 있는가?
• RQ2 모듈러형 백워드 체이닝 접근 방식이 기존의 체인 오브 타ught 프롬프팅에 비해 장기 추론 체인에서 실패율을 낮출 수 있는가?
• RQ3 소수량 프롬프트가 적용된 언어모델이 규칙 선택, 사실 검증, 목표 분해와 같은 백워드 체이닝 구성요소를 신뢰성 있게 구현할 수 있는가?
• RQ4 LAMBADA가 피지컬 훈련된 언어모델이 추론 작업에서 앓는 부도덕한 상관관계를 어느 정도 피할 수 있는가?
• RQ5 쿼리 효율성과 추론 체인의 타당성 측면에서 LAMBADA는 다른 모듈러형 언어모델 기반 추론 프레임워크와 어떻게 비교되는가?

주요 결과

• LAMBADA는 ProofWriter의 ParaRules 서브셋에서 최신 전방 추론 방법에 비해 뚜렷한 정확도 향상을 보였으며, 특히 깊은 추론 체인이 필요한 문제에서 뛰어난 성능을 보였다.
• 전방 방법에 비해 유효한 추론 체인을 더 자주 생성하는 경향이 있으며, 전방 방법은 종종 잘못되거나 부도덕한 증명 추적을 통해 정확한 결론을 도출하는 경향이 있다.
• 목표 중심의 백워드 체이닝 아키텍처 덕분에 다른 모듈러형 추론 접근 방식보다 더 높은 쿼리 효율성을 보였다.
• 논리적 구조와 일관성 검증에 초점을 맞추어, 피지컬 훈련된 언어모델에서 흔히 발생하는 부도덕한 상관관계에 대한 의존도를 줄였다.
• 특히 5단계 이내의 추론 깊이를 가진 작업에서 언어모델에서 자연어 추론을 위해 백워드 체이닝이 전방 체이닝보다 더 효과적인 것으로 입증되었다.
• 부호 일치 및 반복적 사실 검증 모듈이 증명 검증에서의 신뢰성 향상과 거짓 양성 결과 감소에 기여하였다.