[論文レビュー] Experimenting a New Programming Practice with LLMs

Simiao Zhang, Jia-Ping Wang+4 more|arXiv (Cornell University)|Jan 2, 2024

Natural Language Processing Techniques被引用数 4

ひとこと要約

この論文では、要件分析、システム設計、検証段階の全過程において人間のフィードバックを統合するAI支援ソフトウェア開発フレームワークAISDを紹介する。LLMを用いて使用事例、システム設計、実装を繰り返し精錬しながらも、ユーザーを能動的に関与させることで、AISDは新規ベンチマークにおいて72.3%のタスク達成率を達成し、人間がループに参加するLLM開発が複雑なソフトウェアタスクにおける信頼性と効果性を顕著に向上させられることを示している。

ABSTRACT

The recent development on large language models makes automatically constructing small programs possible. It thus has the potential to free software engineers from low-level coding and allow us to focus on the perhaps more interesting parts of software development, such as requirement engineering and system testing. In this project, we develop a prototype named AISD (AI-aided Software Development), which is capable of taking high-level (potentially vague) user requirements as inputs, generates detailed use cases, prototype system designs, and subsequently system implementation. Different from existing attempts, AISD is designed to keep the user in the loop, i.e., by repeatedly taking user feedback on use cases, high-level system designs, and prototype implementations through system testing. AISD has been evaluated with a novel benchmark of non-trivial software projects. The experimental results suggest that it might be possible to imagine a future where software engineering is reduced to requirement engineering and system testing only.

研究の動機と目的

• ユーザー参加が欠如している完全自動化されたLLMベースのソフトウェア開発フレームワークの限界を解消すること。
• 要件分析およびシステム検証段階での人間のフィードバック統合により、LLM生成ソフトウェアの信頼性と整合性を向上させること。
• 人間とLLMの両方の理解を支援する、軽量で使いやすい要件および設計文書のインターフェースを設計すること。
• ユーザー入力を重視する反復的精錬を強調するLLM駆動の開発パイプラインの有効性を評価すること。
• AIと人間のフィードバックを支援する場合、ソフトウェア工学が要件工学とシステムテストに還元可能であることを示すこと。

提案手法

• AISDは、高レベルで曖昧なユーザー要件を入力とし、最小限で焦点を絞った使用事例とシステム設計文書を生成する。
• フレームワークは、ステークホルダーの期待に一致するように、ユーザーのフィードバックに基づいてLLMを用いて使用事例とシステム設計を反復的に精錬する。
• システム設計は、原子的なコーディングタスクに分解され、LLMを用いて自動的に実装される。
• プロトタイプ実装は単体テストおよびシステムテストでテストされ、失敗が検出されると、要件、設計、またはコードの見直しを促すフィードバックループが発動する。
• タスク完了および整合性を客観的に評価できるように、参照用使用事例を備えた新規ベンチマークが作成される。
• フレームワークは、最小限の人的関与（重要な意思決定ポイントでのみ）を採用し、「少ない方が良い」という哲学に従う。

実験結果

リサーチクエスチョン

• RQ1 LLMベースのソフトウェア開発フレームワークは、人的関与を最小限に抑えながらも高いタスク達成率を達成できるか？
• RQ2 要件分析およびシステム検証段階でのユーザーのフィードバック統合が、生成されたソフトウェアの品質と正しさにどのように寄与するか？
• RQ3 複雑なソフトウェア開発タスクにおいて、人間がループに参加するアプローチは、完全自動化されたLLMフレームワークをどの程度上回るか？
• RQ4 軽量で使用事例駆動の設計プロセスは、正確で保守性の高いコード生成をどの程度効果的に導くか？
• RQ5 反復的テストとフィードバックループは、LLMベース開発における失敗実装の数を顕著に削減できるか？

主な発見

• AISDは、非自明なソフトウェアプロジェクトの新規ベンチマークにおいて72.3%のタスク達成率を達成し、複雑なタスク完了における強力なパフォーマンスを示した。
• 要件および設計精錬の重要な段階でユーザーのフィードバックを統合することで、AISDは既存のエンドツーエンドLLMベースのアプローチを顕著に上回った。
• ユーザーを重要な意思決定ポイントでのみ関与させることで、AISDはトークン消費量を削減しながらも、高い正確性と信頼性を維持した。
• 標準化された最小限の使用事例文書の使用により、人間およびLLMの理解が向上し、システム仕様における曖昧さが低減した。
• 反復的テストとフィードバックループにより、要件と実装の不整合が早期に検出され、再作業が削減され、整合性が向上した。
• 結果から、AIと人間がループに参加するフレームワークを支援することで、将来的にはソフトウェア開発が要件工学とシステムテストに還元可能である可能性が示唆された。