[논문 리뷰] How to Prompt? Opportunities and Challenges of Zero- and Few-Shot Learning for Human-AI Interaction in Creative Applications of Generative Models

D. D. Hai, Lukas Mecke외 3명|arXiv (Cornell University)|2022. 09. 03.

Educational Games and Gamification인용 수 89

한 줄 요약

논문은 대화형 인간-AI 협업에서 창의적 작업에 대한 프롬프트 기반 제로샷 및 소수샷 학습의 기회와 도전을 분석하고, 프롬프트 지지를 위한 네 가지 UI 디자인 목표를 제시한다.

ABSTRACT

Deep generative models have the potential to fundamentally change the way we create high-fidelity digital content but are often hard to control. Prompting a generative model is a promising recent development that in principle enables end-users to creatively leverage zero-shot and few-shot learning to assign new tasks to an AI ad-hoc, simply by writing them down. However, for the majority of end-users writing effective prompts is currently largely a trial and error process. To address this, we discuss the key opportunities and challenges for interactive creative applications that use prompting as a new paradigm for Human-AI interaction. Based on our analysis, we propose four design goals for user interfaces that support prompting. We illustrate these with concrete UI design sketches, focusing on the use case of creative writing. The research community in HCI and AI can take these as starting points to develop adequate user interfaces for models capable of zero- and few-shot learning.

연구 동기 및 목표

• 생성 모델을 활용한 창의적 작업에서 인간-AI 상호작용의 새로운 패러다임으로 프롬프트를 촉진한다.
• 창의성 중심 애플리케이션에서 최종 사용자 프롬프트의 주요 기회와 도전 과제를 식별한다.
• 최종 사용자를 위한 제로샷 및 소수샷 프롬프트를 지원하는 디자인 목표를 제시하고 UI 개념을 시연한다.

제안 방법

• 창의적 상호작용을 위한 프롬프트의 기회와 도전을 수집하기 위해 5명의 HCI 연구원과 2회의 1시간 브레인스토밍 세션을 수행했다.
• 대화형 프롬프트 및 프롬프트 엔지니어링에 대한 문헌 조사를 수행했다.
• 프롬프트를 지원하는 UI를 위한 네 가지 디자인 목표로 연구 결과를 종합하고 창의적 글쓰기에 초점을 둔 UI 스케치를 통해 시연했다.

실험 결과

연구 질문

• RQ1 제로샷 및 소수샷 프롬프트가 최종 사용자 창의적 작업에 어떤 기회를 제공하는가?
• RQ2 창의적 영역에서 인간-AI 협업을 지원하는 프롬프트 설계를 위한 인터페이스를 설계하는 데 있어 주요 도전은 무엇인가?
• RQ3 효과적인 프롬프트 구성, 결합, 적용 및 표현을 가능하게 하는 구체적인 UI 디자인 방향은 무엇인가?

주요 결과

• 프롬프트는 자연어를 통해 임시 AI 도구를 정의함으로써 최종 사용자의 창의 도구 프로그래밍을 가능하게 한다.
• 프롬프트는 매체와 스타일에 걸쳐 창의적 표현력을 확장하고 보강할 수 있다.
• 프롬프트는 창의적 막힘을 극복하고 반복적 초안 작성을 지원하기 위한 영감과 피드백을 제공할 수 있다.
• 사용자는 프롬프트의 구성, 결합, 적용 및 시각화를 지원하는 인터페이스가 필요하다.
• 실험-오류 사용, 프롬프트 입출력 표현, 계산 비용, 모델 간 일반화, 윤리적 문제 등 주목할 만한 도전과제가 있다.