[論文レビュー] Towards Human-Bot Collaborative Software Architecting with ChatGPT

Aakash Ahmad, Muhammad Waseem+4 more|arXiv (Cornell University)|Feb 26, 2023

Artificial Intelligence in Healthcare and Education被引用数 15

ひとこと要約

本論文は、ChatGPT が DevBot として機能し、人間のソフトウェアアーキテクトを支援してソフトウェアアーキテクチャを分析・統合・評価する方法を調査し、マイクロサービス主導の CampusBike システムのケーススタディを用いて、潜在能力、リスク、および経験的検証の方向性を論じる。

ABSTRACT

Architecting software-intensive systems can be a complex process. It deals with the daunting tasks of unifying stakeholders' perspectives, designers' intellect, tool-based automation, pattern-driven reuse, and so on, to sketch a blueprint that guides software implementation and evaluation. Despite its benefits, architecture-centric software engineering (ACSE) inherits a multitude of challenges. ACSE challenges could stem from a lack of standardized processes, socio-technical limitations, and scarcity of human expertise etc. that can impede the development of existing and emergent classes of software (e.g., IoTs, blockchain, quantum systems). Software Development Bots (DevBots) trained on large language models can help synergise architects' knowledge with artificially intelligent decision support to enable rapid architecting in a human-bot collaborative ACSE. An emerging solution to enable this collaboration is ChatGPT, a disruptive technology not primarily introduced for software engineering, but is capable of articulating and refining architectural artifacts based on natural language processing. We detail a case study that involves collaboration between a novice software architect and ChatGPT for architectural analysis, synthesis, and evaluation of a services-driven software application. Preliminary results indicate that ChatGPT can mimic an architect's role to support and often lead ACSE, however; it requires human oversight and decision support for collaborative architecting. Future research focuses on harnessing empirical evidence about architects' productivity and exploring socio-technical aspects of architecting with ChatGPT to tackle emerging and futuristic challenges of ACSE.

研究の動機と目的

• AI 主導の DevBot を用いて、アーキテクチャ中心のソフトウェア工学（ACSE）を支援する動機づけ。
• ChatGPT を用いたアーキテクチャ分析・統合・評価を伴う、人間-ボット共同のアーキテクチャ設計プロセスの実証。
• ChatGPT との対話を通じて ASRs が生成・洗練される方法を具体的なケーススタディで示す。
• ChatGPT 支援 ACSE の潜在的な利点、リスク、および社会技術的考慮事項を特定する。
• この設定における生産性と協働に関する実証的根拠の土台を築く。

提案手法

• Phase 1: ソフトウェアと制約を自然言語で記述するアーキテクチャストーリーを作成。
• Phase 2: アーキテクチャ分析（ASR抽出）、アーキテクチャ統合（パターン/戦術を用いた UML モデル）、アーキテクチャ評価（SAAM）を通じて協働設計を実現。
• Phase 3: 将来の実験と文脈を詳述する経験的検証計画を実施。
• ケーススタディ: CampusBike により、人間-チャットボット協調によって生み出されるプロセスと成果物を例示。
• アーキテクトと ChatGPT の反復対話により、要件・モデル・評価シナリオを洗練。
• UML クラス/コンポーネント図と SAAM を評価に使用。

Figure 1: Context: LLMs, DevBots, Process, and Architecture

実験結果

リサーチクエスチョン

• RQ1 ChatGPT は、アーキテクチャストーリーを処理して ASRs と制約を人間のアーキテクトと協力して明確化できるか？
• RQ2 ChatGPT は ASRs をどの程度までアーキテクチャモデルに統合し、記された要件に対して評価できるか？
• RQ3 ACSE における人間-ボット協調設計の利点とリスク（社会技術的およびガバナンス面を含む）は何か？

主な発見

• ChatGPT は、人間のアーキテクトの指導のもとで、アーキテクチャ要件と制約を明確化・洗練できる。
• ChatGPT は UML アーティファクトの生成を支援し、アーキテクチャ統合の際に戦術とパターンを適用できる。
• SAAM ベースの評価は ChatGPT により指示され、評価シナリオとレポートを作成できる。
• ケーススタディは、初心者のアーキテクトが ChatGPT と協働して CampusBike アーキテクチャを作成する現実的な手順を示す。
• 予備的な結果は生産性の潜在的向上を示す一方で、人間の監督とガバナンスの必要性を強調している。

Figure 2: Overview of the Research Method