[논문 리뷰] KnowAgent: Knowledge-Augmented Planning for LLM-Based Agents

Yuqi Zhu, Shuofei Qiao외 8명|arXiv (Cornell University)|2024. 03. 05.

Semantic Web and Ontologies인용 수 4

한 줄 요약

KnowAgent는 외부 동작 지식 기반과 지식 기반 자기학습 전략을 통합하여 LLM 기반 에이전트의 계획 환각을 줄이는 지식 증강 계획 프레임워크를 제안한다. 구조화된 지식으로 동작 경로를 제약함으로써, 다양한 백본 모델에서 HotpotQA와 ALFWorld에서 최신 기술 수준 또는 비교 수준의 성능을 달성한다.

ABSTRACT

Large Language Models (LLMs) have demonstrated great potential in complex reasoning tasks, yet they fall short when tackling more sophisticated challenges, especially when interacting with environments through generating executable actions. This inadequacy primarily stems from the lack of built-in action knowledge in language agents, which fails to effectively guide the planning trajectories during task solving and results in planning hallucination. To address this issue, we introduce KnowAgent, a novel approach designed to enhance the planning capabilities of LLMs by incorporating explicit action knowledge. Specifically, KnowAgent employs an action knowledge base and a knowledgeable self-learning strategy to constrain the action path during planning, enabling more reasonable trajectory synthesis, and thereby enhancing the planning performance of language agents. Experimental results on HotpotQA and ALFWorld based on various backbone models demonstrate that KnowAgent can achieve comparable or superior performance to existing baselines. Further analysis indicates the effectiveness of KnowAgent in terms of planning hallucinations mitigation. Code is available in https://github.com/zjunlp/KnowAgent.

연구 동기 및 목표

• 경로 생성 중 부족한 동작 지식으로 인해 발생하는 LLM 기반 에이전트의 계획 환각 문제를 해결하기 위해.
• 복잡하고 상호작용적인 환경에서 언어 에이전트의 추론 및 계획 능력을 향상시키기 위해.
• 인간 레이블링된 경로에 대한 의존도를 줄이기 위해 모델이 생성한 계획에서 자기학습을 가능하게 하기 위해.
• 외부 동작 지식이 타당하고 실행 가능한 동작 시퀀스를 안내하는 데 효과적인지 입증하기 위해.
• 질문 응답, 웹 브라우징, 로봇 공학 등 실생활 응용 분야에서 LLM 에이전트의 광범위한 도입을 가능하게 하기 위해.

제안 방법

• ALFWorld 및 HotpotQA와 같은 환경의 작업별 동작 규칙과 의존 관계를 포함하는 구조화된 동작 지식 기반 구축.
• 동작 지식을 자연어 프롬프트로 변환하여 LLM이 계획 과정에서 지식을 추론하고 적용할 수 있도록 하는 것.
• Thought-Action-Observation (TAO) 경로 생성을 안내하는 프롬프트 기반 프레임워크를 통해 동작 지식 기반을 에이전트의 계획 과정에 통합하는 것.
• 에이전트가 피드백과 지식 제약 조건을 사용하여 경로를 개선함으로써 반복적으로 계획을 향상시키는 지식 기반 자기학습 단계 구현.
• 에이전트 상호작용을 모델링하기 위해 TAO (Thought-Action-Observation) 경로 형식을 사용하며, 이전 단계를 고려한 히스토리 기반 생성.
• 지식 기반 프롬프팅을 적용하여 동작 시퀀스가 논리적이고 물리적 제약 조건을 따르도록 보장, 예를 들어 '열기' 이전에 '수용물로 이동'이 필요함.

실험 결과

연구 질문

• RQ1 외부 동작 지식이 LLM 기반 에이전트의 계획 환각을 줄일 수 있는가?
• RQ2 구조화된 동작 지식을 통합함으로써 복잡한 추론 작업에서 계획 성능가 개선되는가?
• RQ3 인간 레이블링 데이터 없이 모델이 생성한 경로에서의 자기학습이 얼마나 계획 정확도 향상에 기여하는가?
• RQ4 지식 증강 접근 방식이 다양한 백본 LLM 및 환경 간에 일반화되는가?
• RQ5 LLM에서 생성한 동작 지식를 수동으로 정제함으로써 인간 노동을 줄일 수 있으며 성능을 유지하거나 향상시킬 수 있는가?

주요 결과

• KnowAgent는 '이동' 이후 '열기' 또는 '취득'과 같은 논리적 동작 의존 관계를 강제함으로써 계획 환각을 크게 줄였다.
• HotpotQA 벤치마크에서 KnowAgent는 다양한 LLM 백본에서 기존 베이스라인과 비교하거나 그 이상의 성능을 달성했다.
• ALFWorld 벤치마크에서 KnowAgent는 '청소', '가열', '냉각', '두 개 선택' 등의 작업에서 우수하거나 경쟁력 있는 성능을 보였다.
• 지식 기반 자기학습 전략은 반복 과정을 통해 계획 품질을 향상시켰으며, 지식 제약 조건을 활용해 모델이 생성한 경로를 효과적으로 개선할 수 있음을 보여주었다.
• LLM가 생성하고 수동으로 정제한 동작 지식을 사용함으로써 인간 레이블링 노력은 줄였지만 높은 성능을 유지했다.
• 제거 실험 결과, 동작 지식 기반과 자기학습 메커니즘이 환각을 억제하고 계획 결과를 향상시키는 데 필수적임을 확인했다.