[論文レビュー] How to Prompt? Opportunities and Challenges of Zero- and Few-Shot Learning for Human-AI Interaction in Creative Applications of Generative Models

D. D. Hai, Lukas Mecke+3 more|arXiv (Cornell University)|Sep 3, 2022

Educational Games and Gamification被引用数 89

ひとこと要約

本論文は、創造的なタスクにおける対話的なヒトとAIの協働のための prompting ベースのゼロショットおよび few-shot 学習の機会と課題を分析し、 prompting をサポートする4つのUIデザイン目標を提案します。

ABSTRACT

Deep generative models have the potential to fundamentally change the way we create high-fidelity digital content but are often hard to control. Prompting a generative model is a promising recent development that in principle enables end-users to creatively leverage zero-shot and few-shot learning to assign new tasks to an AI ad-hoc, simply by writing them down. However, for the majority of end-users writing effective prompts is currently largely a trial and error process. To address this, we discuss the key opportunities and challenges for interactive creative applications that use prompting as a new paradigm for Human-AI interaction. Based on our analysis, we propose four design goals for user interfaces that support prompting. We illustrate these with concrete UI design sketches, focusing on the use case of creative writing. The research community in HCI and AI can take these as starting points to develop adequate user interfaces for models capable of zero- and few-shot learning.

研究の動機と目的

• 生成モデルを用いた創造的タスクにおけるヒト-AI対話の新しいパラダイムとしてプロンプティングを動機づける。
• 創造性重視のアプリケーションにおけるエンドユーザーのプロンプティングの主要な機会と課題を特定する。
• エンドユーザーのためのゼロショットおよびfew-shotプロンプティングを支援するデザイン目標を提案し、UIコンセプトを図示する。

提案手法

• 創造的な相互作用のためのプロンプティングの機会と課題を収集するため、5名のHCI研究者と1時間ずつのブレインストーミングセッションを2回実施した。
• 対話的プロンプティングとプロンプトエンジニアリングに関する文献レビューを実施した。
• プロンプトを支援するUIの4つのデザイン目標に所見を統合し、創造的な執筆に焦点を当てたUIスケッチで図示した。

実験結果

リサーチクエスチョン

• RQ1 エンドユーザーの創造的タスクに対してゼロショットおよびfew-shotプロンプティングはどのような機会を提供するか。
• RQ2 創造的領域における人間とAIの協働を支援するプロンプティングを設計する際の主な課題は何か。
• RQ3 効果的なプロンプトの作成・組み合わせ・適用・表現を可能にする具体的なUIデザインの方向性は何か。

主な発見

• プロンプティングは、自然言語を通じてアドホックAIツールを定義することでエンドーユーザーが創造的ツールをプログラミングできるようにする。
• プロンプトは、モーダリティやスタイルを超えて創造的表現力を拡張・強化できる。
• プロンプトは着想を与え、創造的ブロックを克服し、反復草稿を支援するフィードバックを提供できる。
• ユーザーは、プロンプトの作成・組み合わせ・適用・可視化をサポートするインターフェースを必要とする。
• 試行錯誤の使用、プロンプトIOの表現、計算コスト、モデル間の汎化、倫理的懸念など、顕著な課題がある。