[論文レビュー] Lemur: Harmonizing Natural Language and Code for Language Agents

Yiheng Xu, Hongjin Su+14 more|arXiv (Cornell University)|Oct 10, 2023

Topic Modeling被引用数 6

ひとこと要約

Lemur および Lemur-Chat は、コードを多く含むコーパスで事前学習され、指示に従うように微調整されたオープンソース言語モデルであり、自然言語生成およびコード生成の両面で最先端のバランスの取れたパフォーマンスを達成している。これらは13のエージェントベンチマークにおいて、既存のオープンソースモデルを上回り、自然言語とコードの能力を調和させることで、プロプライエタリモデルとの差を著しく縮め、エージェントの推論、ツール利用、環境への根拠づけの分野で優れた性能を発揮している。

ABSTRACT

We introduce Lemur and Lemur-Chat, openly accessible language models optimized for both natural language and coding capabilities to serve as the backbone of versatile language agents. The evolution from language chat models to functional language agents demands that models not only master human interaction, reasoning, and planning but also ensure grounding in the relevant environments. This calls for a harmonious blend of language and coding capabilities in the models. Lemur and Lemur-Chat are proposed to address this necessity, demonstrating balanced proficiencies in both domains, unlike existing open-source models that tend to specialize in either. Through meticulous pre-training using a code-intensive corpus and instruction fine-tuning on text and code data, our models achieve state-of-the-art averaged performance across diverse text and coding benchmarks among open-source models. Comprehensive experiments demonstrate Lemur's superiority over existing open-source models and its proficiency across various agent tasks involving human communication, tool usage, and interaction under fully- and partially- observable environments. The harmonization between natural and programming languages enables Lemur-Chat to significantly narrow the gap with proprietary models on agent abilities, providing key insights into developing advanced open-source agents adept at reasoning, planning, and operating seamlessly across environments. https://github.com/OpenLemur/Lemur

研究の動機と目的

• 自然言語またはコードに特化したオープンソース LLM の間のアンバランスを是正し、両方の能力を調和させたモデルを構築すること。
• 統合された自然言語およびコードの習得能力を通じて、複雑で部分的に観察可能な環境において、言語エージェントが効果的に推論・計画・行動をとれるようにすること。
• ツール利用、環境フィードバック、マルチステップ計画を含むエージェントタスクにおいて、オープンソースモデルとプロプライエタリモデルとのパフォーマンス格差を縮めること。
• テキストとコードのベンチマークの両方で優れたパフォーマンスを発揮し、インタラクティブで根拠づけられたエージェント行動をサポートする基盤モデルを開発すること。
• Web インタラクション、ロボット工学、データサイエンスなどの分野で実世界のエージェントアプリケーションを支援する、公開可能で多用途な言語モデルを提供すること。

提案手法

• The Stack から得た 10:1 のテキスト対コード比を持つ 900億トークンのコード中心のコーパスで事前学習を行い、コード生成能力を強化すると同時に自然言語の質を維持する。
• テキストとコードの両方のタスクを組み合わせた約30万件の多様な例を用いた指示微調整により、指示に従うモデルを構築し、Lemur-Chat を得た。
• 完全観察および部分観察の両設定における推論、コード生成、ツール利用、環境インタラクションをカバーする包括的なエージェント評価スイートの設計。
• HumanEval や GSM8K、MMLU、Spider、DS-1000 などの8つの標準ベンチマークおよび WebArena、ALFWorld、InterCode を含む13のエージェント固有ベンチマークでのモデル評価。
• 公式ベンチマークに準拠したゼロショットおよび少しだけのプロンプトプロトコルを用い、公平で再現可能な比較を保証する。
• エージェント評価において環境フィードバックと人間のフィードバックを統合し、現実世界のシナリオにおける耐性と適応性を評価する。

実験結果

リサーチクエスチョン

• RQ1 1つのオープンソース言語モデルが、自然言語生成およびコード生成ベンチマークの両方で最先端のパフォーマンスを達成できるか？
• RQ2 自然言語とコードの能力を調和させることで、複雑でインタラクティブな環境におけるエージェントのパフォーマンスはどのように向上するか？
• RQ3 オープンソースモデルは、GPT-4 などのプロプライエタリモデルと比較して、エージェントの推論、ツール利用、環境への根拠づけの分野でどの程度まで追いつけるか？
• RQ4 コードに偏った事前学習が、大規模言語モデルにおけるテキストとコードの能力のバランスに及ぼす影響は何か？
• RQ5 両方の能力がバランスの取れたモデルは、反復的な情報収集と計画の再適応を要する部分観察環境において、どのように対処するか？

主な発見

• Lemur-Chat は13のエージェントベンチマークのうち12つで、すべての他のオープンソースモデルを上回り、現実世界のシナリオにおける優れたエージェント能力を示している。
• オープンソースモデルの中で、8つの標準的なテキストおよびコードベンチマークの平均パフォーマンスが最先端であり、両方の能力のバランスの取れ具合が確認された。
• Web ブラウジングやOSインタラクションを含むツール利用タスクにおいて、Lemur-Chat は Llama-2-70B-Chat より顕著に優れており、特に高アクションスペースの複雑な環境で顕著である。
• 自然言語とコードの能力を統合することで、Lemur-Chat は有効で実行可能な行動を生成し、フィードバックに基づいてエラーからの回復が可能となり、コーディングスキルが弱いモデルを上回った。
• Lemur-Chat は、推論、計画、環境への根拠づけの分野で、GPT-4 などのプロプライエタリモデルとのパフォーマンス格差を縮め、特にエージェント能力において顕著な改善を示した。
• CTF やロボティクス推論のようなマルチステップタスクにおいて、モジュラー計画とエラーのバックトラッキングが不可欠な状況でも、強力な一般化能力を示した。