[論文レビュー] ChatDev: Communicative Agents for Software Development

Chen Qian, Liu, Wei+12 more|arXiv (Cornell University)|Jul 16, 2023

Topic Modeling被引用数 69

ひとこと要約

ChatDev は LLM によって推進されるマルチエージェントのチャットベースのフレームワークを用いて、ソフトウェア開発をエンドツーエンドで実行（設計、コード、テスト、文書化）し、川のようなプロセスで低コスト・低時間で実行可能な結果を達成します。コードの幻覚を抑制するためのロールベースのエージェントと思考指示機構を備えたチャットチェーンを導入します。

ABSTRACT

Software development is a complex task that necessitates cooperation among multiple members with diverse skills. Numerous studies used deep learning to improve specific phases in a waterfall model, such as design, coding, and testing. However, the deep learning model in each phase requires unique designs, leading to technical inconsistencies across various phases, which results in a fragmented and ineffective development process. In this paper, we introduce ChatDev, a chat-powered software development framework in which specialized agents driven by large language models (LLMs) are guided in what to communicate (via chat chain) and how to communicate (via communicative dehallucination). These agents actively contribute to the design, coding, and testing phases through unified language-based communication, with solutions derived from their multi-turn dialogues. We found their utilization of natural language is advantageous for system design, and communicating in programming language proves helpful in debugging. This paradigm demonstrates how linguistic communication facilitates multi-agent collaboration, establishing language as a unifying bridge for autonomous task-solving among LLM agents. The code and data are available at https://github.com/OpenBMB/ChatDev.

研究の動機と目的

• LLMsによる単一パスでエンドツーエンドのソフトウェア生成が抱える、コード幻覚と相互検証の不足による課題を動機づけ、対処する。
• 構造化されたチャットチェーンを通じて設計、コーディング、テスト、文書化を統合する仮想的なチャット駆動企業として ChatDev を提案する。
• 専門エージェント間の粒度の高いサブタスク協調を可能にし、解決策の品質とデバッグ性を向上させる。
• チャット内での意思決定を導き、監査するためのメモリーストリームと思考/自己反省機構を導入する。

提案手法

• 設計、実装、テスト、文書化の4フェーズのウォーターフォール風フレームワークを提案する。
• 各フェーズを二役のやり取りで原子タスクに分解する、フェーズ特化型のチャットチェーンを使用する。
• 文脈を維持し合意を促すために、役割の専門化、メモリーストリーム、自己反省を実装する。
• コーディング/テストでは、思考指示機構（ロールスワップ）を用いて未実装箇所やバグを露呈させ、幻覚を減らす。
• コードの可視性を管理し幻覚を抑制するため、バージョン進化スキームを備えたオブジェクト指向プログラミングを活用する。
• 70タスクにわたるマルチエージェント開発を模擬するために ChatGPT-turbo-16k を用いた実験で評価し、時間・コスト・出力品質を測定する。
• コードファイル、資産、文書、ソースコード行数、依存関係、バージョン更新の統計を収集し、対話トークンと成功率を分析する。

実験結果

リサーチクエスチョン

• RQ1 LLMs によって動作するチャットベースのマルチエージェントフレームワークは、設計・コーディング・テスト・文書化の各フェーズを通じてエンドツーエンドのソフトウェア開発を実行できるか？
• RQ2 役割の専門化、メモリ、自己反省がタスク分解、コード品質、幻覚の減少にどのように影響するか？
• RQ3 さまざまなタスクにおける ChatDev による自動ソフトウェア生成の実用的な時間とコストの特性は何か？
• RQ4 レビュアー-プログラマーおよびテスタープログラマーの対話でどのような問題が生じ、思考指示はそれを緩和できるか？
• RQ5 提案されたフレームワークは実現可能性と効率の点で従来の開発とどう比較されるか？

主な発見

最小	最大	平均
2	8	4.26
0	21	8.74
4	5	4.04
39	359	131.61
1	5	2.90
31	232	53.96
5	42	13.23
1	5	1.40
1	4	1.24
24	104	45.60
11119	91208	36902.23
3161	27162	11567.37
15294	111019	48469.60

• ChatDev はほとんどのタスクで実行可能なソフトウェアを生成し、平均生成時間は 409.84 秒、ソフトウェアあたりの平均コストは $0.2967 であった。
• 70 タスクにおいて生成されたソフトウェアは平均 17.04 ファイルを含み、86.66% が完璧に動作し、13.33% が失敗。主に API トークン制限や外部依存関係が原因。
• 平均ソフトウェアは 2 ～ 8 個のコードファイル（平均 4.26）、約 4–5 件の文書ファイル（平均 4.04）、1–5 個の環境依存関係（平均 2.90）を含む。
• ソフトウェアあたりの平均ソースコード行数は 131.61 行（範囲 39–359）、ユーザーマニュアルの平均行数は 53.96 行（範囲 31–232）。
• バージョン更新は平均 13.23 回で、完了・コーディング・テスト中のコード幻覚緩和のための反復的改善を反映。
• 対話分析では、共通のレビュアー問題（例：未実装のメソッド 34.85%、インポート欠如 19.70%）と共通のテスターフィードバック（モジュールが見つからない 45.76%）が見られ、思考指示が多くの問題に対処。