[논문 리뷰] Synergistic Integration of Large Language Models and Cognitive Architectures for Robust AI: An Exploratory Analysis

Oscar J. Romero, John Zimmerman외 2명|arXiv (Cornell University)|2023. 08. 18.

Language and cultural evolutionSocial Sciences인용 수 3

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)과 인지 아키텍처(Cognitive Architectures, CAs)를 융합하여 AI의 강건성과 신뢰성을 향상시키기 위한 세 가지 통합 접근법—모듈형, 기관형, 신경-기호형—을 제안한다. LLM을 통해 기호적 지식을 추출하고 CA를 통해 구조화된 추론를 수행함으로써, 환각 현상 감소, 일관성 향상, 설명 가능하고 확장 가능한 AI 시스템을 상호보완적인 설계를 통해 실현한다.

ABSTRACT

This paper explores the integration of two AI subdisciplines employed in the development of artificial agents that exhibit intelligent behavior: Large Language Models (LLMs) and Cognitive Architectures (CAs). We present three integration approaches, each grounded in theoretical models and supported by preliminary empirical evidence. The modular approach, which introduces four models with varying degrees of integration, makes use of chain-of-thought prompting, and draws inspiration from augmented LLMs, the Common Model of Cognition, and the simulation theory of cognition. The agency approach, motivated by the Society of Mind theory and the LIDA cognitive architecture, proposes the formation of agent collections that interact at micro and macro cognitive levels, driven by either LLMs or symbolic components. The neuro-symbolic approach, which takes inspiration from the CLARION cognitive architecture, proposes a model where bottom-up learning extracts symbolic representations from an LLM layer and top-down guidance utilizes symbolic representations to direct prompt engineering in the LLM layer. These approaches aim to harness the strengths of both LLMs and CAs, while mitigating their weaknesses, thereby advancing the development of more robust AI systems. We discuss the tradeoffs and challenges associated with each approach.

연구 동기 및 목표

• 순수한 LLM의 한계, 즉 환각 현상, 추론 일관성 부족, 해석 불가능성 문제를 해결한다.
• LLM을 통한 동적 지식 획득을 통해 CAs의 지식 확장성 및 도메인 일반화 능력의 한계를 극복한다.
• LLM의 패턴 인식 능력과 CA의 구조화된 기호적 추론 능력을 상호보완적으로 융합하여 강건한 AI 아키텍처를 개발한다.
• 복잡한 환경에서 장기적이고 일관되며 설명 가능한 의사결정을 지원하기 위해 LLM과 CA가 상호 공진화할 수 있는 방식을 탐구한다.
• 자율 에이전트의 시스템 내성, 적응성, 신뢰성을 향상시키기 위한 LLM과 CA 통합 프레임워크를 제공한다.

제안 방법

• 모듈형 접근법을 제안하며, 네 단계의 통합 수준을 포함한다: 느슨하게 결합된(모델의 출력을 기반으로 LLM을 보강) 방식에서부터 공유되는 기호-연결주의 처리를 수행하는 밀접하게 통합된 방식까지.
• 체인 오브 톰 프롬프팅과 기호적 생산 규칙을 활용해 LLM의 추론를 이끌며, 복잡한 작업을 단계별로 분해할 수 있도록 한다.
• 마음의 사회(Society of Mind)와 LIDA 아키텍처를 영감으로 삼은 기관형 접근법을 도입하여, 다수의 에이전트(LM 기반 또는 기호 기반)가 미세 수준과 거시 수준에서 상호작용한다.
• CLARION 기반의 신경-기호형 접근법을 개발하여, LLM이 자연어에서 기호적 규칙을 추출하고 이를 기호적 추론 엔진에 공급한다.
• CA 프레임워크 내에서 세계 모델링, 계획 수립, 기억 관리에 적합한 기호적 표현을 LLM이 생성하고 개선한다.
• 프롬프팅 엔지니어링과 자동 프로그램 생성(예: PAL을 통한)을 적용하여 LLM의 출력을 CA가 실행할 수 있는 기호 논리로 일치시킨다.

실험 결과

연구 질문

• RQ1 LLM과 CA를 어떻게 통합하여 AI 에이전트의 추론 일관성 향상과 환각 현상 감소를 이룰 수 있는가?
• RQ2 자율 시스템에서 연결주의적(LM 기반) 처리와 기호적(CA 기반) 처리 간 효과적인 상호보완성을 이끌 수 있는 아키텍처 구성은 무엇인가?
• RQ3 LLM이 CA의 지식 표현 및 확장성 향상에 얼마나 기여할 수 있으며, 同시에 해석 가능성과 유한 합리성(bounded rationality)을 유지할 수 있는가?
• RQ4 다양한 통합 수준(모듈형, 기관형, 신경-기호형)이 시스템의 강건성, 오류 전파, 계획 신뢰성에 어떤 영향을 미치는가?
• RQ5 하이브리드 시스템이 복잡한 환경에서 LLM을 활용해 동적 세계 모델링을 수행하고, CA 구성요소를 통해 고도로 목표 지향적인 계획 수립을 수행할 수 있는가?

주요 결과

• 모듈형 접근법은 점진적 통합을 가능하게 하며, 가장 느슨하게 결합된 모델은 CA의 출력을 인라인 학습에 활용하지만 고차원적 추론 능력에는 제한이 있다.
• 밀접하게 통합된 모듈형 모델은 LLM이 온톨로지를 채우고 CA 생산 규칙를 문법적으로 올바르게 생성함으로써 세계 모델링과 기호적 추론 능력을 향상시킨다.
• 기관형 접근법은 다중 에이전트 역할과 자기 반성적 역할 수행을 통해 시스템의 강건성을 향상시키며, 추론 체인에서의 연쇄 실패를 줄인다.
• 신경-기호 통합은 자연어와 기호 논리 간 이중 방향 번역을 가능하게 하여 지속적인 규칙 일반화와 설명 가능한 의사결정을 지원한다.
• 모든 접근법은 순수한 프롬프팅 기반 LLM 실행에 대한 의존도를 감소시키며, 기호적 구성요소가 환각 현상 완화를 위한 구조적 일관성을 제공한다.
• 장점이 있음에도 불구하고, 모든 접근법은 LLM의 신뢰성 문제에 직면해 있으며, 계획 및 지식 추출 과정에서 환각되거나 편향된 출력으로 인한 연쇄적 실패 위험이 존재한다.