[논문 리뷰] AriGraph: Learning Knowledge Graph World Models with Episodic Memory for LLM Agents

Petr Anokhin, Nikita Semenov외 5명|arXiv (Cornell University)|2024. 07. 05.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

AriGraph는 LLM 에이전트가 상호작용하는 텍스트 환경에서 구조적이고 확장 가능하며 효율적인 추론을 가능하게 하는 동적 지식 그래프에 에피소딕 기억과 의미 기억을 통합하는 하이브리드 메모리 아키텍처를 제안한다. AriGraph를 사용하는 Ariadne 에이전트는 TextWorld와 NetHack과 같은 복잡한 텍스트 기반 게임에서 인간 수준에 가까운 성능을 달성하며, 전체 기록, RAG, 강화학습 기반 강력한 베이스라인을 초월한다.

ABSTRACT

Advancements in the capabilities of Large Language Models (LLMs) have created a promising foundation for developing autonomous agents. With the right tools, these agents could learn to solve tasks in new environments by accumulating and updating their knowledge. Current LLM-based agents process past experiences using a full history of observations, summarization, retrieval augmentation. However, these unstructured memory representations do not facilitate the reasoning and planning essential for complex decision-making. In our study, we introduce AriGraph, a novel method wherein the agent constructs and updates a memory graph that integrates semantic and episodic memories while exploring the environment. We demonstrate that our Ariadne LLM agent, consisting of the proposed memory architecture augmented with planning and decision-making, effectively handles complex tasks within interactive text game environments difficult even for human players. Results show that our approach markedly outperforms other established memory methods and strong RL baselines in a range of problems of varying complexity. Additionally, AriGraph demonstrates competitive performance compared to dedicated knowledge graph-based methods in static multi-hop question-answering.

연구 동기 및 목표

• 전체 기록 및 검색 증강 생성(RAG)과 같은 비정형 메모리 표현 방식의 한계를 해결함으로써 효과적인 추론과 계획 수립을 방해하는 문제를 해결한다.
• 에피소딕 기억과 의미 기억을 통합된 지식 그래프 프레임워크에 통합함으로써 장기적 메모리 활용도와 동적 환경에서의 의사결정 능력을 향상시킬 수 있는지 탐색한다.
• 구조화된 메모리 표현 방식이 검색 효율성을 향상시키고 환경 탐색 및 작업 계획 수립을 효과적으로 지원하는지 평가한다.
• 기존 지식에 의존하지 않고도 상호작용 기반 텍스트 기반 환경에서 복잡한 다단계 추론을 지원하는 확장 가능한 메모리 아키텍처를 개발한다.
• LLM 에이전트가 상호작용을 통해 자율적으로 일관된 세계 모델을 학습하고 유지할 수 있으며, 인간 수준 이상의 성능을 달성할 수 있음을 입증한다.

제안 방법

• 의미적 사실(엔티티 및 관계)을 노드와 간선으로 저장하여 구조화된 세계 모델을 형성하는 지식 그래프를 구성한다.
• 특정 맥락에 연결된 사건, 행동, 관찰을 연결하는 에피소딕 간선을 도입하여 시간적 및 상황적 세부 정보를 그래프에 통합한다.
• 환경 상호작용 중에 LLM을 사용해 지식 그래프를 동적으로 업데이트함으로써 새로운 관찰을 통합하고 기존 지식를 정교화한다.
• 메모리 검색, 계획 수립, 의사결정의 파ipeline을 활용하며, AriGraph는 사실 검색 및 추론의 핵심 메모리 모듈로 기능한다.
• 그래프 기반 검색을 적용해 관련 사실을 효율적으로 탐색함으로써 벡터 기반 RAG나 전체 기록 방법보다 빠르고 정확한 추론을 가능하게 한다.
• 그래프를 순행 및 역행 탐색함으로써 전방 및 후방 추론을 지원하며, 춴적된 에피소딕 및 의미 기억을 바탕으로 행동 계획을 수립할 수 있다.

실험 결과

연구 질문

• RQ1 LLM 기반 에이전트가 환경과의 상호작용을 통해 처음부터 유용하고 구조화된 세계 모델을 학습할 수 있는가?
• RQ2 통합된 지식 그래프에 에피소딕 기억과 의미 기억을 통합함으로써 메모리에서 관련 사실을 더 잘 검색할 수 있는가?
• RQ3 메모리의 구조화된 표현 방식이 복잡한 상호작용 환경에서 탐색과 의사결정 능력을 향상시키는가?
• RQ4 기존 메모리 방법(예: 전체 기록, RAG, 요약)과 비교할 때 AriGraph 메모리 아키텍처의 성능 및 확장성은 어떠한가?
• RQ5 에이전트가 상호작용과 자가 구축된 메모리만을 사용하여 복잡한 텍스트 기반 게임에서 인간 수준 또는 그 이상의 성능을 달성할 수 있는가?

주요 결과

• AriGraph 메모리를 탑재한 Ariadne 에이전트는 TextWorld의 가장 어려운 Treasure Hunt 및 요리 과제에서 정규화 점수 1.0을 기록하며, 모든 베이스라인을 압도하고 최상위 인간 플레이어와 동등한 성능을 보였다.
• 청소 과제에서 AriGraph는 정규화 점수 0.79를 기록하며, RAG(0.39), Simulacra(0.7), 전체 기록(0.05)을 크게 앞서며 뚜렷한 성능 우위를 보였다.
• 가장 어려운 요리 과제에서 AriGraph는 점수 0.65를 기록하며, Reflexion(0.0), Simulacra(0.0), RAG(0.17)를 모두 뛰어넘어 높은 복잡성에서도 뛰어난 내구성을 입증했다.
• 절단 실험 결과에서 에피소딕 메모리 제거 시 하드 타겟 헌터 과제에서 성능이 0.67로 감소함으로써, 복잡한 추론에서 에피소딕 메모리의 핵심적 역할을 확인했다.
• LLaMA-3-70B를 사용한 AriGraph 에이전트가 Treasure Hunt에서 점수 0.47을 기록하여 모델 크기가 커질수록 성능 향상이 이루어지지만, 다른 LLM 기반 메모리 방법보다도 뛰어난 성능을 보였다.
• 성능 동적 분석 결과, AriGraph는 과제 난이도가 증가함에 따라 성능 저하 없이 높은 성능을 유지하며, 요리 과제에서는 인간 플레이어보다 빠른 속도로 승리했다.