[논문 리뷰] If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents

Ke Yang, Jiateng Liu외 10명|arXiv (Cornell University)|2024. 01. 01.

Topic Modeling인용 수 13

한 줄 요약

이 논문은 코드로 LLM을 훈련시키고 코드 기반 프롬프트를 사용하는 것이 실행 가능한 코드를 통해 프로그래밍 기술, 복잡한 추론 및 외부 도구와 환경과의 상호 작용을 개선하여 LLM이 지능형 에이전트로 작동하도록 하는 방법을 조사한다.

ABSTRACT

The prominent large language models (LLMs) of today differ from past language models not only in size, but also in the fact that they are trained on a combination of natural language and formal language (code). As a medium between humans and computers, code translates high-level goals into executable steps, featuring standard syntax, logical consistency, abstraction, and modularity. In this survey, we present an overview of the various benefits of integrating code into LLMs' training data. Specifically, beyond enhancing LLMs in code generation, we observe that these unique properties of code help (i) unlock the reasoning ability of LLMs, enabling their applications to a range of more complex natural language tasks; (ii) steer LLMs to produce structured and precise intermediate steps, which can then be connected to external execution ends through function calls; and (iii) take advantage of code compilation and execution environment, which also provides diverse feedback for model improvement. In addition, we trace how these profound capabilities of LLMs, brought by code, have led to their emergence as intelligent agents (IAs) in situations where the ability to understand instructions, decompose goals, plan and execute actions, and refine from feedback are crucial to their success on downstream tasks. Finally, we present several key challenges and future directions of empowering LLMs with code.

연구 동기 및 목표

• LLM 훈련 맥락에서 코드의 정의와 그 이점을 정의한다.
• 코드 사전 학습(code pre-training)과 코드 기반 프롬프트가 LLM의 추론 및 도구 사용을 어떻게 개선하는지 설명한다.
• 실행 환경에 연결된 LLM이 어떻게 지능형 에이전트(IAs)가 되는지 조사한다.
• 코드와 LLM, IAs의 통합에 관한 도전과제와 향후 방향을 식별한다.

제안 방법

• 코드를 형식적이고 기계 실행 가능하며 인간이 해석 가능한 언어로 정의하는 것을 제안한다.
• 코드 사전 학습(code pre-training) 대 코드 미세 조정(code fine-tuning) 방법과 그 목적 함수를 설명한다.
• 코드 기반 이점의 분류 체계를 제시한다: 프로그래밍 기술 향상, 복잡한 추론(CoT와 PoT), 그리고 구조화된 지식 캡처.
• 생성된 코드나 미리 정의된 함수들을 통해 LLM을 다양한 도구 말단에 연결하는 코드 중심 패러다임을 도입한다.
• 코드 실행 환경이 자동적이고 충실한 피드백을 제공하여 자기 개선에 기여하는 방식을 요약한다.

실험 결과

연구 질문

• RQ1 코드에 대한 LLM의 사전 훈련이 프로그래밍 및 추론 능력에 어떤 영향을 미치는가?
• RQ2 코드 기반 프롬프트가 LLM이 실행 가능한 단계들을 생성하고 외부 도구와 인터페이스하도록 어떻게 하는가?
• RQ3 코드 실행 환경과 피드백이 LLM 및 IA 성능 향상에 어떤 역할을 하는가?
• RQ4 코드 활성화된 LLM과 지능형 에이전트에 대한 주요 도전과제와 향후 방향은 무엇인가?

주요 결과

• 코드에 대한 코드 사전 학습은 LLM의 프로그래밍 및 코드 평가 능력을 향상시킨다.
• 코드 사전 학습은 복잡한 추론을 향상시키며, 프로그램 유사 사고(PoT)가 종종 사유의 연쇄(CoT)보다 우수하다.
• 코드는 그래프, 표, 다중 모달 데이터로부터 구조화된 지식을 더 효과적으로 담아낼 수 있게 한다.
• 코드 중심 패러다임은 생성된 코드나 미리 정의된 함수들을 통해 디지털 및 물리적 말단 간의 확장 가능하고 유연한 도구 호출을 가능하게 한다.
• 코드 사용 환경에서의 LLM은 코드 실행으로부터 자동화된 피드백을 받아 자기 개선과 과제에의 더 나은 정렬을 달성할 수 있다.
• 이 설문조사는 코드 기반의 IAs를 갖춘 LLM을 더 능력있고 강건하게 만드는 데 있어서의 도전과 유망한 방향을 강조한다.