[論文レビュー] Building Your Own Product Copilot: Challenges, Opportunities, and Needs

Chris Parnin, Gustavo Soares+4 more|arXiv (Cornell University)|Dec 21, 2023

Software Engineering Research被引用数 5

ひとこと要約

この論文は、大規模言語モデル（LLMs）を用いてAIパワード製品コ-pilotを構築する際、26名のプロフェッショナルソフトウェアエンジニアのインタビューに基づき、ソフトウェアエンジニアが直面する課題を調査している。プロンプト工学、テスト、ステート管理、ツールキットの分野における深刻な課題を特定し、AIファーストのソフトウェア開発ワークフローにおける開発の合理化と信頼性の向上を図るため、統合的かつ標準化されたツールキットとベストプラクティスの必要性を提言している。

ABSTRACT

A race is underway to embed advanced AI capabilities into products. These product copilots enable users to ask questions in natural language and receive relevant responses that are specific to the user's context. In fact, virtually every large technology company is looking to add these capabilities to their software products. However, for most software engineers, this is often their first encounter with integrating AI-powered technology. Furthermore, software engineering processes and tools have not caught up with the challenges and scale involved with building AI-powered applications. In this work, we present the findings of an interview study with 26 professional software engineers responsible for building product copilots at various companies. From our interviews, we found pain points at every step of the engineering process and the challenges that strained existing development practices. We then conducted group brainstorming sessions to collaborative on opportunities and tool designs for the broader software engineering community.

研究の動機と目的

• 大規模言語モデル（LLMs）を用いて製品コ-pilotを構築する際、ソフトウェアエンジニアが実際の現場で直面する課題を理解すること。
• AIパワードアプリケーションの開発におけるソフトウェアエンジニアリングライフサイクル全体で生じる課題を特定すること。
• 生産環境におけるLLMベースのシステムのための標準化されたツールキット、テスト手法、メトリクスの欠如について探求すること。
• スケーラブルで信頼性が高く、保守可能なコ-pilot開発を支援する実行可能な機会およびツール設計を提言すること。
• 急速なLLMのイノベーションと、AI統合製品向け成熟したエンジニアリング手法の間のギャップを埋めること。

提案手法

• 大手テクノロジー企業で製品コ-pilotの開発を担当する26名のプロフェッショナルソフトウェアエンジニアを対象に、深掘りインタビューを実施した。
• プロンプト工学、テスト、ステート管理、ツール統合を含む、ソフトウェアエンジニアリングライフサイクル全体の課題を分析した。
• グループブレインストーミングセッションを実施し、将来のツールキットのための機会と設計原則を共同で同定した。
• 既存のツールキットエコシステム（例：LangChain、Semantic Kernel）をマッピングし、エンドツーエンドのコ-pilot開発を支援する際の限界を評価した。
• プロンプトバージョニング、コストモニタリング、LLM挙動の可視化（オブザーバビリティ）といった希望される機能についてフィードバックを収集した。
• 結果を統合し、AIファースト開発における使いやすさ、保守可能性、開発者体験を重視したツールキットニーズのフレームワークを構築した。

実験結果

リサーチクエスチョン

• RQ1 実際の現場でLLMsを用いて製品コ-pilotを構築する際、エンジニアが直面する主な課題は何か？
• RQ2 現在のソフトウェアエンジニアリング手法とツールは、LLMパワードアプリケーションの開発をどの程度効果的に支援しているか？
• RQ3 信頼性、テスト可能性、保守性を向上させるために、どの種のツールキットとベストプラクティスが最も必要とされているか？
• RQ4 エンジニアは生産環境のシステムで、プロンプト工学、ステート管理、モデル挙動の予測不能性をどのように管理しているか？
• RQ5 メトリクス、可視化（オブザーバビリティ）、コストモニタリングは、AIコ-pilotの開発と保守において果たす役割は何か？

主な発見

• プロンプト工学は深刻なボトルneckであり、LLM出力の脆さと予測不能性のため、多数の試行錯誤と反復的チューニングが不可欠である。
• LLMベースのワークフローのテストは極めて困難であり、標準化されたメトリクスの欠如に加え、プロンプトやモデル挙動の変更に対するレグレッションテストツールの不在が要因である。
• エンジニアは会話の状態管理、複雑なワークフローのオーケストレーション、異なるLLM間での一貫性のある挙動の確保に大きな困難を抱えていると報告している。
• プロンプトテンプレート、ベクトルデータベース、ホスティング、テストフレームワークを統合した、統合的でワンストップショップ的な開発環境への強い需要がある。
• 小さなプロンプト変更やモデルアップデートによってもコストとパフォーマンスが急激に変動する点が深刻な懸念であり、リアルタイムのアラート機能や可視化ツールの必要性が強調されている。
• LangChainなどのフレームワークの存在にもかかわらず、開発者はツール統合、複雑なLLMパイプラインの可読性、解釈可能性の面で依然として課題を抱えている。