[논문 리뷰] From Summary to Action: Enhancing Large Language Models for Complex Tasks with Open World APIs

Yulong Liu, Yunlong Yuan외 6명|arXiv (Cornell University)|2024. 02. 28.

Business Process Modeling and AnalysisBusiness, Management and Accounting인용 수 3

한 줄 요약

이 논문은 대규모 오픈월드 API를 두 구성 요소로 이루어진 파이프라인(라우터 및 상태 관리자)을 통해 통합함으로써 복잡한 실세계 작업을 위한 대규모 언어 모델(Large Language Models, LLMs)의 성능을 향상시키는 새로운 추론 프레임워크 Sum2Act를 제안한다. 각 단계에서 LLM은 이전 결과를 요약하여 맥락을 유지하고 의사결정을 안내하며, ToolBench 벤치마크에서 16,000개 이상의 실세계 API를 사용할 때 ReAct 및 DFSDT보다 뛰어난 성능을 보인다.

ABSTRACT

The distinction between humans and animals lies in the unique ability of humans to use and create tools. Tools empower humans to overcome physiological limitations, fostering the creation of magnificent civilizations. Similarly, enabling foundational models like Large Language Models (LLMs) with the capacity to learn external tool usage may serve as a pivotal step toward realizing artificial general intelligence. Previous studies in this field have predominantly pursued two distinct approaches to augment the tool invocation capabilities of LLMs. The first approach emphasizes the construction of relevant datasets for model fine-tuning. The second approach, in contrast, aims to fully exploit the inherent reasoning abilities of LLMs through in-context learning strategies. In this work, we introduce a novel tool invocation pipeline designed to control massive real-world APIs. This pipeline mirrors the human task-solving process, addressing complicated real-life user queries. At each step, we guide LLMs to summarize the achieved results and determine the next course of action. We term this pipeline `from Summary to action', Sum2Act for short. Empirical evaluations of our Sum2Act pipeline on the ToolBench benchmark show significant performance improvements, outperforming established methods like ReAct and DFSDT. This highlights Sum2Act's effectiveness in enhancing LLMs for complex real-world tasks.

연구 동기 및 목표

• 기존의 LLM 도구 사용 프레임워크가 동적이고 실세계적인 API 상호작용을 효과적으로 관리하지 못하는 데서 비롯되는 한계를 해결하기 위해.
• 이력 결과를 지속적으로 요약함으로써 정확한 작업 상태 인식을 유지함으로써 복잡하고 개방적인 작업에서 LLM의 추론 능력을 향상시키기 위해.
• 오류 전파를 방지하고 API 장애 및 경로 탐색을 견고하게 처리하기 위해 인간의 작업 해결 행동을 모방하기 위해.
• 텍스트 기반 및 시각적 API(예: SDXL, ControlNet, VQA)를 통합하여 다중모달 작업 실행을 가능하게 하기 위해.
• 검색의 광범위함과 맥락의 정확성 사이의 균형을 유지하는 확장 가능하고 효율적인 추론 파이프라인을 개발하여 트리 기반 및 체인 오브 톰(Chain-of-Thought) 방법보다 뛰어난 성능을 내기 위해.

제안 방법

• Sum2Act 파이프라인은 라우터와 상태 관리자로 구성되며, 라우터는 현재 작업 상태와 요약된 이력을 바탕으로 행동을 선택한다.
• 각 단계에서 LLM은 과거 행동과 결과의 요약을 생성하며, 이를 다음 결정에 활용함으로써 맥락 길이를 줄이고 집중력을 향상시킨다.
• 상태 관리자는 행동 결과를 검증하고 장애 원인을 식별하며, 오류 수정을 위한 반성 기능을 제공함으로써 오류 전파를 방지한다.
• 이 프레임워크는 API 경로에 대한 다방향 탐색을 지원하여 중복된 행동과 실패한 경로에서의 정보 누락을 방지한다.
• SDXL, ControlNet, Blip 등의 시각적 API를 포함한 다양한 실세계 API를 ToolBench 벤치마크에서 통합한다.
• 작업 분해는 선택적으로 적용되며, 실험 결과에 따르면 성능 향상이 미미하여 핵심 프레임워크의 강점이 구조적 분해가 아니라 상태 인식 기반 추론에 있음을 시사한다.

실험 결과

연구 질문

• RQ1 지속적인 이력 결과 요약이 복잡하고 오픈월드 API 환경에서 LLM의 추론 능력을 향상시키는가?
• RQ2 Sum2Act의 상태 관리 메커니즘이 CoT 및 ReAct에 비해 오류 전파를 얼마나 줄이는가?
• RQ3 Sum2Act는 반복적인 행동이나 실패한 행동의 반복 없이 얼마나 효과적으로 여러 API 경로를 탐색할 수 있는가?
• RQ4 시각적 API 통합이 텍스트 전용 API 사용에 비해 다중모달 작업에서 LLM의 성능을 향상시키는가?
• RQ5 16,000개 이상의 실세계 API를 포함한 대규모 벤치마크에서 Sum2Act는 ReAct 및 DFSDT와 같은 기존 방법보다 성능이 뛰어나다고 할 수 있는가?

주요 결과

• Sum2Act는 ToolBench 벤치마크에서 ReAct 및 DFSDT를 능가하며, 49개 카테고리에 걸쳐 16,000개 이상의 API를 포함한 복잡한 실세계 작업 처리 능력에서 뛰어난 성능을 보였다.
• SDXL, ControlNet, Blip 등의 시각적 API 통합을 통해 모델은 고급 이미지 생성, 편집 및 시각적 질의 응답 작업을 효과적으로 수행할 수 있었다.
• 작업 분해의 사용은 Pass Rate 및 Win Rate에서 오직 미미한 향상만을 가져왔으며, 이는 Sum2Act의 핵심 추론 메커니즘이 구조적 분해보다 상태 인식 기반 추론에 더 큰 영향을 미친다는 것을 시사한다.
• 상태 관리자 내의 반성 및 장애 분석 기능은 오류를 식별하고 수정할 수 있게 하여 복잡한 워크플로우 전반에 걸쳐 정확한 작업 상태 인식을 유지하는 데 기여했다.
• 요약을 통해 맥락 길이를 관리하면서도 핵심 정보를 유지함으로써 장기적이고 다단계적인 작업에서 지속적인 추론을 가능하게 하였다.
• 동적 API 응답을 성공적으로 처리하고, 실패한 행동을 반복하지 않으면서도 여러 경로를 탐색함으로써 오픈월드 환경에서의 강인함을 입증하였다.