[논문 리뷰] Chameleon: Plug-and-Play Compositional Reasoning with Large Language Models

Pan Lu, Baolin Peng외 6명|arXiv (Cornell University)|2023. 04. 19.

Topic Modeling인용 수 91

한 줄 요약

Cha me leon은 LLM이 다양한 도구(비전 모델, 웹 검색, Python, 휴리스틱)를 NL 유사 프로그램으로 구성하여 다중 모달 추론 과제를 다룰 수 있게 하는 플러그-앤-플레이 프레임워크로, GPT-4를 활용하여 ScienceQA와 TabMWP에서 새로운 최첨단 성과를 달성합니다.

ABSTRACT

Large language models (LLMs) have achieved remarkable progress in solving various natural language processing tasks due to emergent reasoning abilities. However, LLMs have inherent limitations as they are incapable of accessing up-to-date information (stored on the Web or in task-specific knowledge bases), using external tools, and performing precise mathematical and logical reasoning. In this paper, we present Chameleon, an AI system that mitigates these limitations by augmenting LLMs with plug-and-play modules for compositional reasoning. Chameleon synthesizes programs by composing various tools (e.g., LLMs, off-the-shelf vision models, web search engines, Python functions, and heuristic-based modules) for accomplishing complex reasoning tasks. At the heart of Chameleon is an LLM-based planner that assembles a sequence of tools to execute to generate the final response. We showcase the effectiveness of Chameleon on two multi-modal knowledge-intensive reasoning tasks: ScienceQA and TabMWP. Chameleon, powered by GPT-4, achieves an 86.54% overall accuracy on ScienceQA, improving the best published few-shot result by 11.37%. On TabMWP, GPT-4-powered Chameleon improves the accuracy by 17.0%, lifting the state of the art to 98.78%. Our analysis also shows that the GPT-4-powered planner exhibits more consistent and rational tool selection via inferring potential constraints from instructions, compared to a ChatGPT-powered planner. The project is available at https://chameleon-llm.github.io.

연구 동기 및 목표

• 현대 LLM이 최신 정보에 접근하고 외부 도구를 활용하며 정밀한 추론을 수행하는 데 있어 가지는 제약을 동기화하고 해결합니다.
• 다양한 도구 세트를 조정하여 NL 유사 프로그램을 합성하는 플러그-앤-플레이 프레임워크를 제안합니다.
• 다중 모달 ScienceQA와 표 형식 TabMWP 벤치마크에서의 효과성을 입증하고, LLM 간의 계획 품질을 비교합니다.

제안 방법

• 다양한 도구(LLM, 비전 모델, 웹 검색, Python, 휴리스틱)의 모듈 인벤토리를 도입합니다.
• NL 유사 프로그램을 생성하는 LLM 기반 계획자를 사용해 쿼리를 해결하기 위해 모듈을 순차적으로 배열합니다.
• 단계 간에 캐시된 컨텍스트와 입력/캐시를 업데이트하며 모듈을 순차적으로 실행합니다.
• 도메인 특화 프로그래밍 언어를 피하고 이해하고 확장하기 쉬운 NL 유사 계획을 생성합니다.
• 계획자 역할을 GPT-4로 하면 도구 선택의 일관성이 더 높아진다는 것을 보여줍니다.

Figure 1 : Examples from our Cha me leon approach with GPT-4 on ScienceQA [ 32 ] , a multi-modal question answering benchmark in scientific domains. Cha me leon is adaptive to different queries by synthesizing programs to compose various tools and executing them sequentially to get final answers.

실험 결과

연구 질문

• RQ1 LLM 기반 계획자가 이질적 도구를 결합해 실제 세계의 추론 작업을 처리하는 견고한 NL 유사 프로그램을 합성할 수 있는가?
• RQ2 비전, 웹, 지식 검색, 계산에 걸친 플러그-앤-플레이 모듈이 다중 모달 및 표 형식 추론 벤치마크의 성능을 개선하는가?
• RQ3 계획 품질(GPT-4 대 ChatGPT)이 도구 선택, 계획 타당성, 최종 정확도에 어떤 영향을 미치는가?

주요 결과

• GPT-4를 탑재한 Cha me leon은 ScienceQA에서 86.54%의 정확도를 달성해 공개된 최상의 소수 샷 결과를 11.37% 포인트 상회합니다.
• TabMWP에서 GPT-4 기반 Cha me leon은 98.78%의 정확도에 도달하여 최첨단을 17.0% 포인트 향상시켰습니다.
• GPT-4 기반 계획은 ChatGPT보다 도구 선택이 더 일관되고 합리적임을 보이며, 지시로부터 얻은 제약들이 계획에 도움이 됨을 보여줍니다.
• 삭제 실험은 지식 검색 및 도메인/도구 모듈이 ScienceQA와 TabMWP 모두에서 성능에 필수적임을 시사합니다.
• Cha me leon은 작업별 훈련 없이도 자연어 유사 프로그램을 사용해 다양한 도구를 조 orchestrate 하여 도메인에 걸쳐 일반화됩니다.

Figure 2 : Two examples from our Cha me leon approach with GPT-4 on TabMWP [ 33 ] , a mathematical reasoning benchmark with tabular contexts. Cha me leon demonstrates flexibility and efficiency in adapting to different queries that require various reasoning abilities.