[論文レビュー] AutoScrum: Automating Project Planning Using Large Language Models

Martin Schröder|arXiv (Cornell University)|Jun 5, 2023

Software Engineering Research被引用数 7

ひとこと要約

この論文では、GPT-3.5-turbo などの大規模言語モデル（LLM）を Guidance 言語と組み合わせて、2つのアプローチ（構造化されたスクラムベースのパイプラインと即時反復型計画法）を用いてアジャイルプロジェクト計画を自動化する AutoScrum フレームワークを紹介する。LLM が現在状態から望ましい状態への目標に向けて、最小限の人的介入で一貫性があり目標志向の計画を自動的に生成できることを示している。

ABSTRACT

Recent advancements in the field of large language models have made it possible to use language models for advanced reasoning. In this paper we leverage this ability for designing complex project plans based only on knowing the current state and the desired state. Two approaches are demonstrated - a scrum based approach and a shortcut plan approach. The scrum based approach executes an automated process of requirements gathering, user story mapping, feature identification, task decomposition and finally generates questions and search terms for seeking out domain specific information to assist with task completion. The shortcut approach looks at most recent snapshot of the current and desired state and generates the next most reasonable task to do in order to get to the desired state as quickly as possible. In this paper we automate everything using a novel concept of "Language Programs". These are programs written in natural language designed to process input data through the language model. Guidance language is used for all LLM programs. All demo source code for this paper is available at https://github.com/autoscrum/autoscrum

研究の動機と目的

• 大規模言語モデルを用いて、アジャイル環境におけるエンドツーエンドのプロジェクト計画を自動化すること。
• スクラム手法における手動計画の認知的負荷の高さと非効率性を解決すること。
• LLM が定義された現在状態と望ましい状態から、現実的で目標志向のタスクシーケンスを自律的に生成できるかどうかを調査すること。
• 構造化されたスクラムパイプラインと反復的ショートカット計画法の2つの異なる計画戦略の有効性を評価すること。
• 構造化されたプロンプトとプログラム的制御によって、LLM が人的介入なしに一貫性があり実行可能なプロジェクト計画を生成できることを実証すること。

提案手法

• フレームワークは「言語プログラム」——Guidance ライブラリを介して実行される自然言語スクリプト——を用い、構造化されたプロンプトによって LLM の振る舞いを制御する。
• スクラムベースのアプローチは、要件収集、ユーザーストーリーのマッピング、機能の特定、タスクの分解、情報収集クエリの自動化を実現する。
• ショートカットアプローチは、現在状態と望ましい状態に基づき、反復的な LLM 推論を用いて次に論理的に妥当なタスクを生成し、グリーディーなルート探索戦略を模倣する。
• 決定論的で的を射た出力を保証するため、温度ハイパーパramータ（0–0.1）が使用される。一方、感度を評価するために、高い温度（1.2）もテストされた。
• すべての LLM インタラクションは、明確な役割定義、タスク追跡、ステータスレポートを含む固定されたプロンプト構造に基づいている。
• 完全なソースコードは、Microsoft Guidance 構文を用いて GitHub に公開されており、再現性とオープンソースおよびプロプライエタリ LLM との統合を可能にしている。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルは、現在状態と望ましい状態のみを用いて、完全なプロジェクト計画を自律的に生成できるか？
• RQ2 構造化されたスクラムベースのワークフローは、LLM が一貫性があり実行可能なプロジェクト計画を生成するのをどの程度効果的に支援できるか？
• RQ3 反復的ショートカット計画法は、従来の計画法と比較して、スピードと目標適合性の面で優れていると期待できるか？
• RQ4 温度設定は、生成されたプロジェクト計画の品質と一貫性にどのように影響するか？
• RQ5 LLM は、アジャイルソフトウェア開発の文脈において、人間の推論と計画をどの程度模倣できるか？

主な発見

• スクラムベースのアプローチは、ニワトリ農場の目標に対して、要件、ユーザーストーリー、タスクの分解、情報収集クエリを含む完全なプロジェクト計画を正常に生成した。
• ショートカットアプローチは、現在状態から望ましい状態へ向かう一貫性があり目標志向のタスクシーケンスを生成し、最小限の逸脱を示した。
• 低い温度設定（0–0.1）は、より決定論的で的を射たタスクシーケンスを生み出したが、高い温度（1.2）は、より能動的ではあるが、安定性に欠ける計画経路をもたらした。
• このフレームワークは、GPT-3.5-turbo を用いても、構造化されたプロンプトのもとで、多段階の推論と計画が可能であることを示した。
• Guidance 言語の使用により、LLM の振るまいに対する信頼性の高いプログラム的制御が可能となり、繰り返し可能で監査可能な計画ワークフローを実現した。
• 完全なソースコードと例示計画は公開されており、フレームワークの再現と拡張が可能である。