[논문 리뷰] Towards Human-Bot Collaborative Software Architecting with ChatGPT

Aakash Ahmad, Muhammad Waseem외 4명|arXiv (Cornell University)|2023. 02. 26.

Artificial Intelligence in Healthcare and Education인용 수 15

한 줄 요약

이 논문은 ChatGPT가 소프트웨어 아키텍처를 분석, 합성, 평가하는 인간 소프트웨어 설계자를 돕는 DevBot으로 작동하는 방법을 조사하고, 마이크로서비스 기반 CampusBike 시스템의 사례 연구를 사용하며, 실증 검증의 가능성, 위험성 및 방향에 대해 논의한다.

ABSTRACT

Architecting software-intensive systems can be a complex process. It deals with the daunting tasks of unifying stakeholders' perspectives, designers' intellect, tool-based automation, pattern-driven reuse, and so on, to sketch a blueprint that guides software implementation and evaluation. Despite its benefits, architecture-centric software engineering (ACSE) inherits a multitude of challenges. ACSE challenges could stem from a lack of standardized processes, socio-technical limitations, and scarcity of human expertise etc. that can impede the development of existing and emergent classes of software (e.g., IoTs, blockchain, quantum systems). Software Development Bots (DevBots) trained on large language models can help synergise architects' knowledge with artificially intelligent decision support to enable rapid architecting in a human-bot collaborative ACSE. An emerging solution to enable this collaboration is ChatGPT, a disruptive technology not primarily introduced for software engineering, but is capable of articulating and refining architectural artifacts based on natural language processing. We detail a case study that involves collaboration between a novice software architect and ChatGPT for architectural analysis, synthesis, and evaluation of a services-driven software application. Preliminary results indicate that ChatGPT can mimic an architect's role to support and often lead ACSE, however; it requires human oversight and decision support for collaborative architecting. Future research focuses on harnessing empirical evidence about architects' productivity and exploring socio-technical aspects of architecting with ChatGPT to tackle emerging and futuristic challenges of ACSE.

연구 동기 및 목표

• AI 구동 DevBots의 사용 동기를 부여하기 위한 연구
• 아키텍처 분석, 합성, 평가를 위한 ChatGPT를 활용한 인간-봇 협력 설계 프로세스를 시연한다.
• ASR 생성 및 정제되는 구체적 사례 연구를 보여준다.
• ChatGPT 지원 ACSE의 이점, 위험 및 사회기술적 고려사항을 식별한다.
• 이 설정에서 생산성과 협업에 대한 경험적으로 근거를 확립하기 위한 기초를 마련한다.

제안 방법

• 1단계: 소프트웨어와 제약 조건을 자연어로 기술한 아키텍처 스토리를 개발한다.
• 2단계: 아키텍처 분석(ASR elicitation), 아키텍처 합성(UML 모델과 패턴/전술), 아키텍처 평가(SAAM)를 통해 협업적 설계를 가능하게 한다.
• 3단계: 향후 실험 및 맥락을 상세히 다루는 경험적 검증 계획을 수행한다.
• 사례 연구: CampusBike를 통해 인간-챗봇 협업이 생성하는 프로세스 및 산출물을 설명한다.
• 아키리스트와 ChatGPT 간의 반복적인 대화를 통해 요구사항, 모델, 평가 시나리오를 정제한다.
• 평가를 위해 UML 클래스 및 컴포넌트 다이어그램과 SAAM을 사용한다.

Figure 1: Context: LLMs, DevBots, Process, and Architecture

실험 결과

연구 질문

• RQ1 ChatGPT가 아키텍처 스토리를 처리하여 인간 아키텍트와 협력해 ASR과 제약을 명시할 수 있는가?
• RQ2 ChatGPT가 ASR을 아키텍처 모델로 합성하고 명시된 요구사항에 대해 평가하는 데 어느 정도까지 가능한가?
• RQ3 ACSE에서 인간-봇 협력을 통한 이점과 위험, 사회기술 및 거버넌스 측면 포함은 무엇인가?

주요 결과

• ChatGPT는 인간 아키텍트의 지도를 받으면 아키텍처 요구사항과 제약을 명시하고 다듬을 수 있다.
• ChatGPT는 아키텍처 합성 중 UML 산출물을 생성하고 전술 및 패턴을 적용하는 데 도움을 줄 수 있다.
• SAAM 기반 평가를 ChatGPT가 안내하여 평가 시나리오와 보고서를 생성할 수 있다.
• 사례 연구는 초보 아키텍트가 ChatGPT와 협력하여 CampusBike 아키텍처를 생성하는 실질적인 단계를 보여준다.
• 예비 결과는 생산성 증가 가능성을 시사하지만 인간의 감독과 거버넌스의 필요성도 강조한다.

Figure 2: Overview of the Research Method