[논문 리뷰] Wordflow: Social Prompt Engineering for Large Language Models

Zijie J. Wang, Aishwarya Chakravarthy외 2명|arXiv (Cornell University)|2024. 01. 25.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 웹 기반 브라우저 편집기를 통해 로컬에서 LLM 추론을 가능하게 하고, 프롬프트 공유 및 태깅과 같은 소셜 컴퓨팅 기능을 통합함으로써 비전문가 사용자가 협업적으로 대규모 언어 모델(LLM) 프롬프트를 만들고, 실행하고, 공유하며, 발견할 수 있도록 돕는 오픈소스 소셜 프롬프트 엔지니어링 플랫폼인 Wordflow를 소개한다. WebGPU를 통한 로컬 LLM 추론과 소셜 기능을 결합함으로써 효과적인 프롬프트 작성의 장벽을 낮추고, 검토 및 창작 글쓰기와 같은 실제 작업에 LLM을 활용할 수 있도록 한다.

ABSTRACT

Large language models (LLMs) require well-crafted prompts for effective use. Prompt engineering, the process of designing prompts, is challenging, particularly for non-experts who are less familiar with AI technologies. While researchers have proposed techniques and tools to assist LLM users in prompt design, these works primarily target AI application developers rather than non-experts. To address this research gap, we propose social prompt engineering, a novel paradigm that leverages social computing techniques to facilitate collaborative prompt design. To investigate social prompt engineering, we introduce Wordflow, an open-source and social text editor that enables everyday users to easily create, run, share, and discover LLM prompts. Additionally, by leveraging modern web technologies, Wordflow allows users to run LLMs locally and privately in their browsers. Two usage scenarios highlight how social prompt engineering and our tool can enhance laypeople's interaction with LLMs. Wordflow is publicly accessible at https://poloclub.github.io/wordflow.

연구 동기 및 목표

• 대규모 언어 모델(LLM)를 사용하는 데 있어 훈련과 지침이 부족한 비전문가 사용자들이 프롬프트 엔지니어링 과제를 해결하는 데 초점을 맞춘다.
• 기존의 프롬프트 엔지니어링 도구가 주로 AI 개발자들을 대상으로 하므로, 일상적인 사용자들을 중심으로 연구 격차를 메우는 데 목적이 있다.
• 협업 기반의 커뮤니티 기반 기법을 활용해 프롬프트 설계와 활용을 향상시키는 새로운 패러다임인 소셜 프롬프트 엔지니어링을 소개하고 평가한다.
• 로컬에서 개인 정보를 보호할 수 있도록 LLM 추론을 지원하고, 프롬프트 생성 및 공유에 대한 소셜 상호작용을 지원하는 오픈소스 웹 기반 텍스트 편집기인 Wordflow를 개발한다.
• 소셜 컴퓨팅 기능이 LLM 상호작용에서 사용자 참여도, 프롬프트 품질, 접근성 향상에 어떻게 기여하는지 탐구한다.

제안 방법

• Wordflow는 웹 기반 오픈소스 텍스트 편집기로, 사용자가 WebGPU를 활용해 디바이스에서 직접 로컬 추론을 통해 LLM 프롬프트를 구성하고 편집하고 실행할 수 있도록 한다.
• 플랫폼은 텍스트의 직접 조작을 지원한다: 사용자가 텍스트를 강조 표시하고 한 번의 클릭으로 프롬프트를 적용해 내용을 변환(예: 검토 또는 번역)할 수 있다.
• 사용자는 프롬프트와 LLM 설정을 커스터마이징하고, 프롬프트 매니저에 저장하며, 태그와 메타데이터를 사용해 커뮤니티와 공유할 수 있다.
• 도구는 커뮤니티에서 공유된 프롬프트를 탐색하고 재사용할 수 있도록 하며, 인기, 최신성, 태그 기준으로 정렬 및 필터링이 가능하다.
• 로컬 LLM 실행은 데이터 프라이버시를 보장하고 외부 API나 백엔드 서버에 대한 의존도를 제거한다.
• 소셜 기능으로는 프롬프트 공유, 커뮤니티 큐레이션, 악성 콘텐츠 신고가 포함되며, 향후 콘텐츠 모니터링 및 평판 시스템 계획이 수립되어 있다.

실험 결과

연구 질문

• RQ1 소셜 프롬프트 엔지니어링은 비전문가 사용자가 효과적인 LLM 프롬프트를 작성하는 데 어떻게 지원하는가?
• RQ2 일상 사용자가 LLM과 상호작용할 때 일반적으로 사용하는 사용 사례와 프롬프팅 패턴은 무엇인가?
• RQ3 사용자는 커뮤니티에서 공유된 프롬프트를 어떻게 수정하고 재공유하는가? 이는 프롬프팅에서의 협업 학습에 대해 무엇을 드러내는가?
• RQ4 태깅, 인기 순위, 평판 시스템과 같은 소셜 기능이 사용자 참여도 향상과 프롬프트 탐색에 어떻게 기여하는가?
• RQ5 소셜 시스템은 어떻게 설계되어야 비판적 프롬프팅을 장려하고, 오락성 또는 해로운 출력과 같은 위험을 완화할 수 있는가?

주요 결과

• Wordflow는 WebGPU를 활용해 사용자가 웹 브라우저에서 로컬에서 LLM 프롬프트를 만들고, 실행하고, 공유할 수 있도록 하며, 외부 API 의존도를 제거하고 데이터 프라이버시를 향상시킨다.
• 플랫폼의 소셜 기능—예: 프롬프트 공유, 태깅, 커뮤니티 큐레이션—은 효과적인 프롬프팅 기법의 협업 학습과 탐색을 촉진한다.
• 사용자는 인기, 최신성, 태그 기준으로 프롬프트를 정렬 및 필터링할 수 있어 고품질이면서 맥락에 맞는 프롬프트를 효율적으로 탐색할 수 있다.
• 도구는 한 번의 클릭으로 LLM을 실행할 수 있는 텍스트 직접 조작을 지원하여 비기술적 사용자에게 진입 장벽을 크게 낮춘다.
• 프롬프트의 진화를 분석하기 위해 사용 로그 기반의 초도 연구가 계획되어 있다. 이는 사용자가 커뮤니티 프롬프트를 어떻게 적응하고 재공유하는지에 대한 분석을 포함한다.
• 악성 프롬프트를 신고할 수 있는 메커니즘이 플랫폼에 포함되어 있어, 소셜 프롬프팅 시스템에서 책임감 있는 AI 실천의 기반을 마련하고 있다.