[논문 리뷰] SymbolicAI: A framework for logic-based approaches combining generative models and solvers

Marius-Constantin Dinu, Claudiu Leoveanu-Condrei외 3명|arXiv (Cornell University)|2024. 02. 01.

Semantic Web and Ontologies인용 수 6

한 줄 요약

SymbolicAI는 LLM을 의미론적 파서로 사용하여 솔버를 조정하고 구성 가능한 계산 그래프를 구축하는 모듈식 신경-상징 프레임워크를 제시하며, VERTEX 품질 점수와 벤치마크로 뒷받침됩니다.

ABSTRACT

We introduce SymbolicAI, a versatile and modular framework employing a logic-based approach to concept learning and flow management in generative processes. SymbolicAI enables the seamless integration of generative models with a diverse range of solvers by treating large language models (LLMs) as semantic parsers that execute tasks based on both natural and formal language instructions, thus bridging the gap between symbolic reasoning and generative AI. We leverage probabilistic programming principles to tackle complex tasks, and utilize differentiable and classical programming paradigms with their respective strengths. The framework introduces a set of polymorphic, compositional, and self-referential operations for multi-modal data that connects multi-step generative processes and aligns their outputs with user objectives in complex workflows. As a result, we can transition between the capabilities of various foundation models with in-context learning capabilities and specialized, fine-tuned models or solvers proficient in addressing specific problems. Through these operations based on in-context learning our framework enables the creation and evaluation of explainable computational graphs. Finally, we introduce a quality measure and its empirical score for evaluating these computational graphs, and propose a benchmark that compares various state-of-the-art LLMs across a set of complex workflows. We refer to the empirical score as the "Vector Embedding for Relational Trajectory Evaluation through Cross-similarity", or VERTEX score for short. The framework codebase and benchmark are linked below.

연구 동기 및 목표

• 생성 프로세스에서 개념 학습과 흐름 관리를 위한 논리 기반 프레임워크인 SymbolicAI를 소개한다.
• 모듈식 확률적 프로그래밍 접근법을 통해 대형 언어 모델과 다양한 솔버의 원활한 통합을 가능하게 한다.
• 상징적 및 부분-상징적 구성요소로 구축된 계산 그래프를 구성, 평가 및 설명하는 도구를 제공한다.
• 복잡한 워크플로우에서 최첨단 LLM을 비교하기 위한 품질 척도(VERTEX 점수)와 벤치마크를 제안한다.

제안 방법

• LLM을 자연어 및 형식적 언어 지시로부터 작업을 수행하는 의미론적 파서로 취급한다.
• 확률적 프로그래밍 원리를 활용하여 상징 표현과 솔버 및 미분 가능한 구성 요소를 결합한다.
• 데이터 스트림 조작 및 그래프 구성을 위한 다형적, 구성적 및 자기참조적 연산 집합을 정의한다.
• 상징적 및 부분-상징적 프로세스를 결합하는 계층적 계산 그래프를 구축하기 위한 함수 구성 지원한다.
• 도메인 중심 언어(DSL) 및 프롬프트 전략을 구현하여 입력을 솔버 호출에 매핑하고 제약 조건을 통해 출력을 검증한다.
• SymbolicAI와 평가 스위트를 위한 코드베이스를 포함한 프레임워크와 벤치마크를 제공한다.

실험 결과

연구 질문

• RQ1 LLM을 의미론적 파서로 활용하여 전통적 솔버와 미분 가능한 솔버를 통합된 NeSy 프레임워크에서 조정하는 방법은?
• RQ2 SymbolicAI에서 강건하고 설명 가능한 계산 그래프를 가장 잘 지원하는 설계 원칙과 데이터 구조(기호, 표현식, DSL)는 무엇인가?
• RQ3 다양한 기초 모델 전반의 다단계 신경-상징 흐름을 효과적으로 평가하는 품질 척도(VERTEX 점수)가 있는가?

주요 결과

• SymbolicAI는 통일된 프레임워크 내에서 고전적 프로그래밍과 미분 가능한 프로그래밍 간의 원활한 전환을 가능하게 한다.
• 모듈식 파이프라인은 DSL과 기호 기반 표현을 사용하여 솔버에 의해 안내되는 계산 그래프를 구성하고 평가한다.
• 이 프레임워크는 다단계 NeSy 그래프를 평가하는 실증적 품질 척도인 VERTEX 점수를 도입한다.
• 평가에서는 맥락 내 학습, 논리 변환 및 계층적 그래프 계획과 관련된 작업에서 여러 LLM을 비교한다.
• 벤치마크와 코드베이스는 연구자들이 복잡한 워크플로우에서 최첨단 LLM을 테스트하는 데 실용적인 자원을 제공한다.