[論文レビュー] Prompt Sapper: LLM-Empowered Software Engineering Infrastructure for AI-Native Services

Zhenchang Xing, Qing Huang+4 more|arXiv (Cornell University)|Jun 4, 2023

Scientific Computing and Data Management被引用数 4

ひとこと要約

Prompt Sapper は、自然言語プロンプトを通じて非技術的ユーザーが AI オリエンテッドサービスを記述・構成・デプロイできるようにする、LLM を活用したソフトウェアエンジニアリングインfra です。AI チェーン工学を用いてワークフローを構造化することで、従来のコーディングを必要とせず、カスタマイズ可能で再利用可能な AI サービスの開発を、人間と AI の協働によってエンドツーエンドで実現します。

ABSTRACT

Foundation models, such as GPT-4, DALL-E have brought unprecedented AI "operating system" effect and new forms of human-AI interaction, sparking a wave of innovation in AI-native services, where natural language prompts serve as executable "code" directly (prompt as executable code), eliminating the need for programming language as an intermediary and opening up the door to personal AI. Prompt Sapper has emerged in response, committed to support the development of AI-native services by AI chain engineering. It creates a large language model (LLM) empowered software engineering infrastructure for authoring AI chains through human-AI collaborative intelligence, unleashing the AI innovation potential of every individual, and forging a future where everyone can be a master of AI innovation. This article will introduce the R\&D motivation behind Prompt Sapper, along with its corresponding AI chain engineering methodology and technical practices.

研究の動機と目的

• 基盤モデルが「プロンプトをコードとして扱う」ことを可能にしているが、体系的な開発支援が不足している AI オリエンテッドサービスのソフトウェアエンジニアリングインfraのギャップを埋める。
• チャットベースのインタラクションや一時的なプロンプト工学に起因する制限を克服し、AI サービス作成にソフトウェアエンジニアリング指向の構造的アプローチを導入する。
• 非プログラマーが直感的な自然言語ワークフローに従い、AI サービスを設計・プロトタイプ化・デプロイできるようにすることで、AIイノベーションの民主化を実現する。
• AI とソフトウェアエンジニアリングのベストプラクティスを統合した包括的な AI4SE4AI フレームワークを確立し、AI チェーンの開発効率、再利用性、保守性を向上させる。
• AI の能力と実世界のデプロイメントのギャップを埋めるために、設計・テスト・共有を含むフルスタックでインタラクティブな環境を提供する。

提案手法

• 基盤モデルを AI の「オペレーティングシステム」として活用し、従来のプログラミングを必要とせず、ユーザーの意図を直接実行する「プロンプトをコードとして扱う」アプローチを採用する。
• 複数のプロンプト呼び出しを、基盤モデル、外部 API、従来の AI モデルにわたって構造化された実行可能なワークフローに組み合わせる、新しいソフトウェアパラダイム「AI チェーン工学」を導入する。
• 製品マネージャー、アーキテクト、プロンプトエンジニアの LLM パワーを持つ仮想アシスタントを活用し、要件分析、タスクの分解、プロンプト構築の各段階をユーザーが支援する。
• ユーザーインターフェースが直感的で、人間と AI のリアルタイムコラボレーションを可能にする、目的に特化した Sapper IDE を提供する。これにより、直感的なプロトタイプ作成と反復が可能になる。
• モジュール化、バージョニング、テストなどのソフトウェアエンジニアリング原則を AI チェーンに適用することで、保守性、再利用性、信頼性を向上させる。
• AI4SE4AI フレームワークを統合し、要件からデプロイまで、AI サービス開発のライフサイクルを体系化。継続的改善とサービスの組み合わせを支援する。

実験結果

リサーチクエスチョン

• RQ1 非技術的ユーザーが自然言語のみでスケーラブルで使いやすいインフラを構築・デプロイできるようにするには、どのようなアプローチが有効か？
• RQ2 LLM パワーを持つ仮想アシスタントは、非エキスパートが複雑な AI チェーン設計やプロンプト工学のプロセスをどのように支援できるか？
• RQ3 AI オリエンテッドサービス開発の独自の課題、特にテスト、再利用、保守性の観点から、ソフトウェアエンジニアリングのベストプラクティスをどのように適合できるか？
• RQ4 AI チェーン工学は、既存の低コード／ノーコードツールや従来の IDE に比べて、AI サービス開発のライフサイクルをどの程度効果的に支援できるか？
• RQ5 構造的な AI チェーン工学と組み合わせた「プロンプトをコードとして扱う」パラダイムは、AI 開発の民主化と生産環境向けの信頼性の両立を達成できるか？

主な発見

• Prompt Sapper は、非技術的ユーザーが自然言語プロンプトを通じて AI オリエンテッドサービスを生成・カスタマイズ・組み合わせられるようになり、従来のプログラミングの必要性を実質的に排除した。
• LLM パワーを持つ仮想アシスタントの統合により、要件分析やプロンプト構築の段階でユーザーの認知的負荷と技術的障壁が顕著に低減された。
• Sapper IDE は、使いやすさ、コラボレーション、保守性に重点を置いたエンドツーエンドの AI チェーン開発を支援し、コード作成や可視的ワークフロー設計に特化した既存ツールを上回る性能を示した。
• AI チェーンにソフトウェアエンジニアリング原則を適用することで、再利用性、テスト性、バージョニングの向上が図られ、スケーラブルな AI サービス開発の鍵となる要因が実現した。
• AI4SE4AI フレームワークは、体系的なエンジニアリング手法が AI オリエンテッド開発に成功裏に適合可能であることを示した。これにより、堅牢で生産環境向けの AI サービスが可能になった。
• GitHub Copilot や Zapier と比較して、Prompt Sapper はアイデアからデプロイまでをカバーする包括的で意図志向の開発プロセスを提供しており、コード生成に限定されていない。