[논문 리뷰] MRKL Systems: A modular, neuro-symbolic architecture that combines large language models, external knowledge sources and discrete reasoning
논문은 대형 언어 모델과 외부 지식원 및 이산 추론 모듈을 결합하는 모듈식 신경-상징 아키텍처인 MRKL을 제안하고, AI21 Labs의 Jurassic-X 시스템과 산술 라우팅 실험으로 이를 시연한다.
Huge language models (LMs) have ushered in a new era for AI, serving as a gateway to natural-language-based knowledge tasks. Although an essential element of modern AI, LMs are also inherently limited in a number of ways. We discuss these limitations and how they can be avoided by adopting a systems approach. Conceptualizing the challenge as one that involves knowledge and reasoning in addition to linguistic processing, we define a flexible architecture with multiple neural models, complemented by discrete knowledge and reasoning modules. We describe this neuro-symbolic architecture, dubbed the Modular Reasoning, Knowledge and Language (MRKL, pronounced "miracle") system, some of the technical challenges in implementing it, and Jurassic-X, AI21 Labs' MRKL system implementation.
연구 동기 및 목표
- 동적 지식 및 추론 작업에 대한 순수 대형 언어 모델의 한계를 동기 부여하고 식별한다.
- 신경 전문가와 기호 모듈 및 라우팅 메커니즘을 결합한 MRKL 아키텍처를 도입한다.
- Jurassic-X, AI21 Labs의 MRKL 구현, 그리고 계산기 기반의 테스트 케이스를 통해 접근법을 시연한다.
- 모듈식 라우팅이 최신 정보 접근성, 독점 데이터 통합 및 구성적 추론을 가능하게 하는 방법을 보여준다.
제안 방법
- MRKL을 적절한 모듈로 입력을 안내하는 라우터를 포함한 신경 및 기호적 전문가의 시스템으로 정의한다.
- 기호 모듈용으로 자연어에서 구조화된 주장을 추출하기 위한 전용 신경 라우터를 구현한다.
- 데이터 증강과 프롬프트-튜닝을 사용하여 산술 추출 작업에 대한 라우터를 학습시킨다.
- 신경 및 기호 구성요소 간의 간극을 넘어서는 일반화 능력을 숫자, 어형, 형식 및 연산 유형 전반에 대해 평가한다.
- 프롬프트-튜닝과 파샷(few-shot) 접근법을 비교하는 실험적 프레임워크를 설명하고 형식 및 피연산자 표현에 대한 강건성을 논의한다.
실험 결과
연구 질문
- RQ1모듈식 신경-상징 시스템이 LM의 한계를 극복하기 위해 LM을 기호 및 외부 지식원과 결합할 수 있는 방법은 무엇인가?
- RQ2라우터가 이산 추론기에 대한 호출을 효과적으로 선택하고 매개변수화하여 신뢰할 수 있는 기호 계산을 가능하게 할 수 있는가?
- RQ3이러한 시스템이 숫자 길이, 단어 형식 및 문제 형식 전반에 걸쳐 산술 추론을 어느 정도 일반화할 수 있는가?
- RQ4신경-상징의 간극을 넘는 데 있어 실제적인 도전 과제는 무엇이며, Jurassic-X는 이를 어떻게 해결하는가?
- RQ5최신 정보 접근 및 독점 데이터 통합 측면에서 MRKL의 이점은 무엇인가?
주요 결과
- MRKL 시스템은 전문가가 적합하지 않을 때 LM으로의 안전한 대체를 가능하게 한다.
- 모듈식 설계는 기존 기능에 해를 주지 않으면서 저렴하게 확장 가능하게 한다.
- 라우팅 결정은 출력에 대한 해석 가능한 정당화를 제공한다(예: 계산기 기반 결과).
- 외부 API와 데이터베이스는 최신 정보 및 독점 지식 통합을 가능하게 한다.
- Jurassic-X는 데이터 증강 및 프롬프트-튜닝을 사용할 때 텍스트에서 거의 완벽에 가까운 산술 추출을 시연하고, 숫자, 어형, 형식 전반에 걸쳐 강한 일반화를 보인다.
- 두 연산 및 다중 연산 산술 일반화 실험은 대부분의 수식 유형에서 강력한 성능을 보이나 형식 관련 예외가 몇 가지 있다.
이 논문 읽기
누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.
누빈트에서 이 논문 읽기이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.