[논문 리뷰] LangGPT: Rethinking Structured Reusable Prompt Design Framework for LLMs from the Programming Language

Ming Wang, Yuanzhong Liu외 12명|arXiv (Cornell University)|2024. 02. 26.

Software Testing and Debugging Techniques인용 수 4

한 줄 요약

LangGPT는 프로그래밍 언어에서 영감을 얻은 이중 레이어 아키텍처를 통해 LLM에서 구조적이고 재사용 가능한 프롬프트 설계를 제안하며, 비AI 전문가도 체계적이고 확장 가능한 템플릿을 통해 고품질의 프롬프트를 생성할 수 있도록 한다. 실험 결과 LangGPT는 Instruction-only 및 CRISPE와 같은 베이스라인보다 다양한 작업에서 뛰어난 응답 품질을 보이며, 사용자 설문 조사 결과에서도 높은 사용 편의성과 재사용 가능성이 확인되었다.

ABSTRACT

LLMs have demonstrated commendable performance across diverse domains. Nevertheless, formulating high-quality prompts to instruct LLMs proficiently poses a challenge for non-AI experts. Existing research in prompt engineering suggests somewhat scattered optimization principles and designs empirically dependent prompt optimizers. Unfortunately, these endeavors lack a structured design template, incurring high learning costs and resulting in low reusability. In addition, it is not conducive to the iterative updating of prompts. Inspired by structured reusable programming languages, we propose LangGPT, a dual-layer prompt design framework as the programming language for LLMs. LangGPT has an easy-to-learn normative structure and provides an extended structure for migration and reuse. Experiments illustrate that LangGPT significantly enhances the performance of LLMs. Moreover, the case study shows that LangGPT leads LLMs to generate higher-quality responses. Furthermore, we analyzed the ease of use and reusability of LangGPT through a user survey in our online community.

연구 동기 및 목표

• LLM 응용 분야에서 비AI 전문가를 위한 체계적이고 재사용 가능한 프롬프트 설계의 부족을 해결하기 위해.
• 체계적인 프레임워크를 통해 고품질 프롬프트의 학습 비용을 줄이고 재사용성을 향상시키기 위해.
• 제안된 프레임워크를 활용해 LLM이 스스로 고품질 프롬프트를 생성할 수 있도록 하기 위해.
• 커뮤니티 기반 사용자 설문 조사를 통해 프레임워크의 사용성과 재사용 가능성을 평가하기 위해.

제안 방법

• 객체지향 프로그래밍에서 영감을 얻은 이중 레이어 프롬프트 구조를 설계하여, 규범적 기반 레이어와 확장 가능한 커스터마이제이션 레이어로 구성하기 위해.
• 프롬프트 구성 요소의 형식화된 문법과 의미 규칙을 정의하여 체계적인 구축과 재사용을 가능하게 하기 위해.
• 협업적 프롬프트 공유 및 학습을 지원하기 위해 커뮤니티 플랫폼에 프레임워크를 통합하기 위해.
• LLM이 LangGPT의 구조에 따라 프롬프트를 생성하도록 하여, 구조적 제약을 통해 안전성과 품질을 향상시키기 위해.
• 빔 서치와 기울기 유사 편집 기법을 활용해 LangGPT 프레임워크 내에서 프롬프트를 최적화하기 위해.
• 글쓰기 및 역할 수행 시나리오에서 LangGPT를 Instruction-only 및 CRISPE 베이스라인과 비교한 통제 실험을 수행하기 위해.

실험 결과

연구 질문

• RQ1 구조적이고 재사용 가능한 프롬프트 프레임워크는 비AI 전문가가 프롬프트 엔지니어링을 배우는 데 있어 학습 장벽을 줄일 수 있는가?
• RQ2 LangGPT는 기존의 프롬프트 설계 방법(예: CRISPE, Instruction-only)과 비교해 고품질 LLM 응답을 생성하는 데 얼마나 우수한가?
• RQ3 LangGPT는 얼마나 높은 수준의 자율성으로 LLM이 안전하고 고품질이며 맥락에 적합한 프롬프트를 생성하도록 이끌 수 있는가?
• RQ4 커뮤니티에서 LangGPT가 얼마나 널리 채택되었는가에 따라 실제 환경에서의 사용 편의성과 재사용 가능성은 어떻게 반영되는가?

주요 결과

• 역할 수행 시나리오에서 LangGPT는 Instruction-only 및 CRISPE 프롬프트보다 뛰어난 응답 품질을 보였으며, Gemini Pro 기준 평균 점수는 4.20과 4.43을 기록했다.
• 글쓰기 시나리오에서는 콘텐츠의 풍부함 평균 점수 4.20과 텍스트의 연속성 평균 점수 4.30을 기록하여, 다양한 LLM에서 기준선을 초월했다.
• 커뮤니티 사용자 87.81%가 5점 만점에 3 이상의 사용 편의성 점수를 평가했으며, 총 만족도 평균은 10점 만점에 8.48이었다.
• MBTI 평가와 같이 민감한 주제에 대해서도 직접적인 프롬프트가 거부되는 상황에서 LangGPT는 LLM이 해로운 요소가 없는 고품질 프롬프트를 생성하도록 성공적으로 이끌었다.
• LangGPT는 역할 수행 시 캐릭터 일관성과 깊이를 유지하는 데 성공했으며, 예를 들어 'boot-licker' 성격을 구현할 때도 표현력과 관련성 면에서 기준선을 뛰어넘었다.
• GPT-3.5, Qwen, Yi, Baichuan2를 포함한 다양한 LLM에서 LangGPT 프레임워크가 지시 준수 및 창의적 생성 작업 모두에서 뛰어난 탄탄함을 보였다.