[论文解读] How to Prompt? Opportunities and Challenges of Zero- and Few-Shot Learning for Human-AI Interaction in Creative Applications of Generative Models

D. D. Hai, Lukas Mecke+3 more|arXiv (Cornell University)|Sep 3, 2022

Educational Games and Gamification被引用 89

一句话总结

本文分析了基于提示的零-shot 与少-shot 学习在创造性任务中的人机协作交互中的机会与挑战，并提出了四个用于支持提示的 UI 设计目标。

ABSTRACT

Deep generative models have the potential to fundamentally change the way we create high-fidelity digital content but are often hard to control. Prompting a generative model is a promising recent development that in principle enables end-users to creatively leverage zero-shot and few-shot learning to assign new tasks to an AI ad-hoc, simply by writing them down. However, for the majority of end-users writing effective prompts is currently largely a trial and error process. To address this, we discuss the key opportunities and challenges for interactive creative applications that use prompting as a new paradigm for Human-AI interaction. Based on our analysis, we propose four design goals for user interfaces that support prompting. We illustrate these with concrete UI design sketches, focusing on the use case of creative writing. The research community in HCI and AI can take these as starting points to develop adequate user interfaces for models capable of zero- and few-shot learning.

研究动机与目标

• 以生成模型在创造性任务中的人机交互为新范式，激发对提示的研究。
• 识别面向创意应用中的终端用户提示的关键机会与挑战。
• 提出设计目标并结合 UI 概念，支持终端用户的零-shot 与少-shot 提示。

提出的方法

• 与五位人机交互研究者进行了两次各一小时的头脑风暴，以收集关于面向创造性互动的提示机会与挑战。
• 对交互提示与提示工程进行了文献综述。
• 将研究发现综合为支持提示的 UI 的四个设计目标，并以聚焦于创意写作的 UI 草图进行说明。

实验结果

研究问题

• RQ1 零-shot 与少-shot 提示为终端用户的创意任务提供了哪些机会？
• RQ2 在为创意领域的人机协作设计支持提示的界面时，主要挑战是什么？
• RQ3 哪些具体的 UI 设计方向可以实现高效的提示制定、组合、应用与表示？

主要发现

• 通过自然语言定义即席的 AI 工具，提示使终端用户能够对创意工具进行编程。
• 提示可以跨模态和风格扩展与增强创造性表达。
• 提示可以提供灵感与反馈，帮助克服创作瓶颈并支持迭代式起草。
• 用户需要支持提示的制定、组合、应用和可视化的界面。
• 存在显著挑战，包括试错使用、提示输入/输出表示、计算成本、跨模型的泛化，以及伦理问题。