[논문 리뷰] Prompt Sapper: LLM-Empowered Software Engineering Infrastructure for AI-Native Services

Zhenchang Xing, Qing Huang외 4명|arXiv (Cornell University)|2023. 06. 04.

Scientific Computing and Data Management인용 수 4

한 줄 요약

Prompt Sapper는 자연어 프롬프트를 통해 비기술자도 AI 네이티브 서비스를 작성, 조합, 배포할 수 있도록 돕는 LLM 기반 소프트웨어 엔지니어링 인프라를 제공한다. AI 체인 엔지니어링을 활용해 워크플로우를 체계화함으로써 전통적인 프로그래밍 없이도 사용자 중심의 AI 개발 접근 방식을 가능하게 하며, 비기술자가 커스터마이징 가능하고 재사용 가능한 AI 서비스를 설계하고 개발할 수 있도록 개발의 장벽을 낮춘다.

ABSTRACT

Foundation models, such as GPT-4, DALL-E have brought unprecedented AI "operating system" effect and new forms of human-AI interaction, sparking a wave of innovation in AI-native services, where natural language prompts serve as executable "code" directly (prompt as executable code), eliminating the need for programming language as an intermediary and opening up the door to personal AI. Prompt Sapper has emerged in response, committed to support the development of AI-native services by AI chain engineering. It creates a large language model (LLM) empowered software engineering infrastructure for authoring AI chains through human-AI collaborative intelligence, unleashing the AI innovation potential of every individual, and forging a future where everyone can be a master of AI innovation. This article will introduce the R\&D motivation behind Prompt Sapper, along with its corresponding AI chain engineering methodology and technical practices.

연구 동기 및 목표

• 기초 모델이 '프롬프트를 코드로' 사용할 수는 있지만 체계적인 개발 지원이 부족한 AI 네이티브 서비스 소프트웨어 엔지니어링 인프라의 격차를 해소한다.
• 대화 기반 상호작용과 즉석 프롬프트 엔지니어링의 한계를 극복하기 위해 AI 서비스 생성을 위한 체계적이고 소프트웨어 엔지니어링 기반의 접근 방식을 도입한다.
• 비프로그래머가 직관적인 자연어 기반 워크플로우를 통해 AI 서비스를 설계, 프로토타이핑, 배포할 수 있도록 AI 혁신의 민주화를 실현한다.
• AI와 소프트웨어 엔지니어링 최적 실천 방식을 통합하여 AI 체인의 개발 효율성, 재사용성, 유지보수성을 향상시키는 종합적인 AI4SE4AI 프레임워크를 구축한다.
• AI 기능과 실제 배포 간 격차를 해소하기 위해 설계, 테스트, 공유가 가능한 종단 간 전사적 상호작용 환경을 제공한다.

제안 방법

• 기초 모델을 AI '운영 체제'로 활용하고, '프롬프트를 코드로' 사용해 전통적인 프로그래밍 없이도 사용자 의도를 직접 실행한다.
• 여러 개의 기초 모델 프롬프트 호출, 외부 API, 전통적 AI 모델을 통합한 구조적이고 실행 가능한 워크플로우로 구성되는 새로운 소프트웨어 패러다임인 AI 체인 엔지니어링을 도입한다.
• 사용자가 요구사항 분석, 작업 분해, 프롬프트 구성 과정을 안내하기 위해 LLM 기반 가상 보조자(제품 매니저, 아키텍트, 프롬프트 엔지니어)를 활용한다.
• 실시간 협업 기능을 갖춘 사용자 우수 인터페이스를 제공하는 목적에 맞춘 Sapper IDE를 제공하여 직관적인 프로토타이핑과 반복 개선을 가능하게 한다.
• 모듈성, 버전 관리, 테스트와 같은 소프트웨어 엔지니어링 원칙을 AI 체인에 적용해 유지보수성, 재사용성, 신뢰성을 향상시킨다.
• AI4SE4AI 프레임워크를 통합해 요구사항부터 배포까지 AI 서비스 개발 전 과정을 체계화하고, 지속적인 개선 및 서비스 조합을 지원한다.

실험 결과

연구 질문

• RQ1 비기술자가 자연어만으로도 확장 가능하고 사용자 友好的한 인프라를 어떻게 구축할 수 있을까? 이는 AI 네이티브 서비스의 작성과 배포를 가능하게 한다.
• RQ2 LLM 기반 가상 보조자가 비전문가가 복잡한 AI 체인 설계 및 프롬프트 엔지니어링 과정을 어떻게 안내할 수 있을까?
• RQ3 소프트웨어 엔지니어링 최적 실천 방식은 AI 네이티브 서비스 개발의 고유한 과제, 특히 테스트, 재사용, 유지보수 측면에서 어떻게 적응될 수 있을까?
• RQ4 AI 체인 엔지니어링은 종래의 로우코드/노코드 도구나 전통적 IDE에 비해 AI 서비스 개발 전 과정을 얼마나 더 잘 지원할 수 있을까?
• RQ5 구조화된 AI 체인 엔지니어링과 결합된 '프롬프트를 코드로' 패러다임이 AI 개발의 민주화와 생산 수준의 신뢰성 양자를 동시에 달성할 수 있을까?

주요 결과

• Prompt Sapper는 비기술자가 자연어 프롬프트를 통해 AI 네이티브 서비스를 생성, 커스터마이징, 조합할 수 있도록 하여 기존의 전통적 프로그래밍의 필요성을 근본적으로 제거한다.
• LLM 기반 가상 보조자의 통합은 요구사항 분석 및 프롬프트 구성 과정에서 사용자의 인지 부담과 기술적 장벽을 크게 감소시킨다.
• Sapper IDE는 사용성, 협업, 유지보수에 중점을 두어 AI 체인의 종단 간 개발을 지원하며, 단지 코딩이나 시각적 워크플로우 설계에 집중한 기존 도구들을 뛰어넘는 성능을 보인다.
• AI 체인에 소프트웨어 엔지니어링 원칙을 적용함으로써 재사용성, 테스트 가능성, 버전 제어가 향상되어 스케일링 가능한 AI 서비스 개발의 핵심 요소가 된다.
• AI4SE4AI 프레임워크는 체계적인 공학적 실천 방식이 AI 네이티브 개발에 성공적으로 적용될 수 있음을 입증하며, 견고하고 생산 수준의 AI 서비스를 가능하게 한다.
• GitHub Copilot나 Zapier와 같은 도구에 비해 Prompt Sapper는 아이디어에서 배포까지의 전 과정을 아우르는 더 종합적이고 의도 중심의 개발 프로세스를 지원한다. 이는 단지 코드 생성을 넘어서는 것이다.