[논문 리뷰] Prompt Middleware: Mapping Prompts for Large Language Models to UI Affordances

Stephen MacNeil, Andrew Tran외 4명|arXiv (Cornell University)|2023. 07. 03.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)의 프롬프트로 사용자 인터페이스(UI)의 가능성을 매핑하는 프레임워크인 Prompt Middleware를 소개한다. 이는 정적 프롬프트(전문가가 사전에 정의한 것), 템플릿 기반 프롬프트(사용자 인터페이스 옵션에서 생성된 것), 자유형 프롬프트(사용자가 직접 만든 것)의 세 가지 상호작용 모드를 가능하게 한다. 이 접근법은 비전문가가 LLM을 사용하기 쉽게 만들기 위해 설계된 글쓰기 보조도구인 FeedbackBuffet에서 구현되었으며, 사용자가 선택한 피드백 유형에 기반해 GPT-3 프롬프트를 자동으로 생성함으로써 LLM 상호작용을 크게 단순화시켰다.

ABSTRACT

To help users do complex work, researchers have developed techniques to integrate AI and human intelligence into user interfaces (UIs). With the recent introduction of large language models (LLMs), which can generate text in response to a natural language prompt, there are new opportunities to consider how to integrate LLMs into UIs. We present Prompt Middleware, a framework for generating prompts for LLMs based on UI affordances. These include prompts that are predefined by experts (static prompts), generated from templates with fill-in options in the UI (template-based prompts), or created from scratch (free-form prompts). We demonstrate this framework with FeedbackBuffet, a writing assistant that automatically generates feedback based on a user's text input. Inspired by prior research showing how templates can help non-experts perform more like experts, FeedbackBuffet leverages template-based prompt middleware to enable feedback seekers to specify the types of feedback they want to receive as options in a UI. These options are composed using a template to form a feedback request prompt to GPT-3. We conclude with a discussion about how Prompt Middleware can help developers integrate LLMs into UIs.

연구 동기 및 목표

• 대규모 언어 모델(LLMs)을 비전문가 사용자가 인터랙티브 시스템에서 쉽게 사용할 수 있도록 하는 데 도전하는 것.
• 프롬프트 엔지니어링을 통해 UI의 가능성이 LLM과의 상호작용을 매개하고 구조화하는 방법을 탐색하는 것.
• 전문가가 설계한 구조화된 경로를 제공함으로써 프롬프트 작성의 인지 부담을 줄이는 것.
• 실제 글쓰기 보조 환경에서 정적, 템플릿 기반, 자유형 프롬프트 생성 전략의 효과를 평가하는 것.

제안 방법

• UI 구성 요소(예: 단추, 드롭다운 메뉴, 텍스트 필드)를 정적, 템플릿 기반, 자유형의 세 가지 방식으로 LLM 프롬프트로 매핑하는 Prompt Middleware 프레임워크를 설계한다.
• 사용자가 UI 메뉴에서 선택한 항목을 사전 정의된 템플릿을 사용해 자연어 프롬프트로 조합하는 템플릿 기반 프롬프트 생성 방식을 적용한다.
• GPT-3를 사용할 때 zero-shot prompting을 적용하여 API를 통해 조합된 프롬프트를 전송하고, 미세조정을 수행하지 않는다.
• 피드백 설계 원칙(예: 비판을 긍정적으로 감싸는 방식, 실행 가능성을 높이는 방식 등)을 템플릿 구조에 통합하여 피드백 품질을 향상시킨다.
• 사용자가 UI를 통해 피드백 유형(예: 구조, 어조, 명확성)을 선택할 수 있도록 하는 프로토타입 글쓰기 보조도구인 FeedbackBuffet를 구축한다. 이 선택된 정보는 GPT-3용 프롬프트를 생성하는 데 사용된다.
• LLM의 복잡성을 UI 페라이어드 뒤에 숨기며, 비전문가가 프롬프트를 처음부터 작성하지 않아도 LLM 기능을 활용할 수 있도록 한다.

Figure 1. Three methods to connect user interface components to large language models. 1) static prompts are predefined prompts that can be selected directly from the UI, 2) template-based prompts generate prompts based on selected options in the UI, 3) free-form prompts provide a direct way of inte

실험 결과

연구 질문

• RQ1 비전문가 사용자를 지원하기 위해 사용자 인터페이스의 가능성이 대규모 언어 모델의 프롬프트로 효과적으로 매핑될 수 있는 방법은 무엇인가?
• RQ2 인터랙티브 LLM 응용 프로그램에서 정적, 템플릿 기반, 자유형 프롬프트 생성 방식의 상대적 이점과 한계는 무엇인가?
• RQ3 템플릿 기반의 구조화된 프롬프트 생성 방식이 실제 글쓰기 보조 과업에서 LLM 출력의 품질과 일관성을 향상시킬 수 있는가?
• RQ4 전문가가 설계한 프롬프트 경로를 제공함으로써 최종 사용자의 프롬프트 엔지니어링에 대한 인지 부담은 얼마나 감소하는가?
• RQ5 UI 기반 미들웨어 프레임워크가 사용자가 프롬프트 엔지니어링을 이해하지 않더라도 LLM의 기능을 노출시킬 수 있는 정도는 어느 정도인가?

주요 결과

• FeedbackBuffet는 사용자가 선택한 옵션을 구조화된 템플릿을 사용해 조합함으로써 고급이고 실행 가능한 피드백을 성공적으로 생성한다.
• 전문가가 설계한 템플릿을 사용함으로써 사용자가 프롬프트를 처음부터 작성할 필요가 줄어들어, LLM 사용의 장벽이 낮아진다.
• 템플릿 기반 프롬프트를 통해 피드백 설계의 최선의 실천 방식(예: 긍정-비판-긍정의 구조)이 출력 전반에 걸쳐 일관되게 적용된다.
• 이 프레임워크는 UI 구성 요소가 LLM 상호작용을 위한 페라이어드로 효과적으로 기능할 수 있음을 보여주며, 프롬프트 복잡성을 숨기는 데 성공한다.
• 사용자가 피드백에 기반해 글을 다듬고 시스템과 재상호작용함으로써 반복적인 사용 상호작용이 가능함을 확인할 수 있다.
• 저자는 Prompt Middleware가 전용 모델이나 비용이 많이 드는 인간이 개입하는 시스템이 필요 없이도 LLM 기능을 UI에 경량으로 확장하고 스케일링할 수 있는 방법을 제공한다고 결론 내린다.

Figure 2. FeedbackBuffet enables users to insert writing samples (1) and select from a set of predefined options for the type of feedback they want to receive (2). Using a template, these options are combined to form a prompt (3) which is sent to GPT-3 using OpenAI’s public API (4). GPT-3 then gener