[論文レビュー] If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents

Ke Yang, Jiateng Liu+10 more|arXiv (Cornell University)|Jan 1, 2024

Topic Modeling被引用数 13

ひとこと要約

本論文は、LLMをコードで訓練し、コードベースのプロンプトを用いることが、実行可能なコードを通じてプログラミング能力、複雑な推論、外部ツールや環境との相互作用を改善することで、LLMを知能的エージェントとして機能させる方法を調査している。

ABSTRACT

The prominent large language models (LLMs) of today differ from past language models not only in size, but also in the fact that they are trained on a combination of natural language and formal language (code). As a medium between humans and computers, code translates high-level goals into executable steps, featuring standard syntax, logical consistency, abstraction, and modularity. In this survey, we present an overview of the various benefits of integrating code into LLMs' training data. Specifically, beyond enhancing LLMs in code generation, we observe that these unique properties of code help (i) unlock the reasoning ability of LLMs, enabling their applications to a range of more complex natural language tasks; (ii) steer LLMs to produce structured and precise intermediate steps, which can then be connected to external execution ends through function calls; and (iii) take advantage of code compilation and execution environment, which also provides diverse feedback for model improvement. In addition, we trace how these profound capabilities of LLMs, brought by code, have led to their emergence as intelligent agents (IAs) in situations where the ability to understand instructions, decompose goals, plan and execute actions, and refine from feedback are crucial to their success on downstream tasks. Finally, we present several key challenges and future directions of empowering LLMs with code.

研究の動機と目的

• LLM訓練の文脈でのコードの定義とその利点を定義する。
• コード事前訓練とコードベースのプロンプトが、LLMの推論とツール利用をどのように向上させるかを説明する。
• 実行環境と接続されたLLMが知能的エージェント（IAs）となる方法を調査する。
• コードとLLMsおよびIAsの統合における課題と今後の方向性を特定する。

提案手法

• コードを、形式的で機械実行可能かつ人間が解釈可能な言語として定義する。
• コード訓練手法を説明する：コード事前訓練とコード微調整、そしてそれらの目的関数。
• コード対応の利点の分類を提示する：プログラミング能力の向上、複雑な推論（CoTおよびPoT）、組織的な知識キャプチャ。
• 生成コードまたは事前定義関数を介して、LLMsを多様なツールの端末と接続するコード中心のパラダイムを導入する。
• コード実行環境が自己改善のための自動化された忠実なフィードバックを提供する方法を要約する。

実験結果

リサーチクエスチョン

• RQ1 コードでLLMを事前訓練することは、彼らのプログラミング能力と推論能力にどのような影響を与えるか。
• RQ2 コードベースのプロンプティングは、LLMが実行可能な手順を生成し、外部ツールとインターフェースすることをどう促進するか。
• RQ3 コード実行環境とフィードバックは、LLMとIAの性能向上においてどのような役割を果たすか。
• RQ4 コード対応LLMsと知能エージェントの主要な課題と今後の方向性は何か。

主な発見

• コード上でのコード事前訓練は、LLMsのプログラミングとコード評価スキルを向上させる。
• コード事前訓練は複雑な推論を改善し、プログラムのような思考（PoT）はしばしば連鎖的思考（CoT）を上回る。
• コードはLLMsがグラフ、表、マルチモーダルデータからの構造化知識をより効果的に捉えることを可能にする。
• コード中心のパラダイムは、生成コードまたは事前定義関数を介して、デジタルと物理の端末間での拡張可能で柔軟なツール呼び出しを促進する。
• コード有効環境のLLMsは、自己改善とタスクへのより良い適合のためにコード実行から自動フィードバックを受け取ることができる。
• 本調査は、コードベースのIAを持つLLMsをより有能で頑健にするための課題と有望な方向性を浮き彫りにしている。