[論文レビュー] Wordflow: Social Prompt Engineering for Large Language Models

Zijie J. Wang, Aishwarya Chakravarthy+2 more|arXiv (Cornell University)|Jan 25, 2024

Topic Modeling被引用数 4

ひとこと要約

この論文では、WebGPUを介したローカルでのLLM推論と、プロンプト共有やタグ付けといったソーシャルコンピューティング機能を統合することで、非エキスパートユーザーが共同で大規模言語モデル（LLM）のプロンプトを共同で作成・実行・共有・発見できるオープンソースでブラウザベースのテキストエディタ「Wordflow」を紹介する。Wordflowにより、プロンプト作成の障壁が低下し、日常のタスク（校正やクリエイティブライティングなど）におけるLLMの活用が促進される。

ABSTRACT

Large language models (LLMs) require well-crafted prompts for effective use. Prompt engineering, the process of designing prompts, is challenging, particularly for non-experts who are less familiar with AI technologies. While researchers have proposed techniques and tools to assist LLM users in prompt design, these works primarily target AI application developers rather than non-experts. To address this research gap, we propose social prompt engineering, a novel paradigm that leverages social computing techniques to facilitate collaborative prompt design. To investigate social prompt engineering, we introduce Wordflow, an open-source and social text editor that enables everyday users to easily create, run, share, and discover LLM prompts. Additionally, by leveraging modern web technologies, Wordflow allows users to run LLMs locally and privately in their browsers. Two usage scenarios highlight how social prompt engineering and our tool can enhance laypeople's interaction with LLMs. Wordflow is publicly accessible at https://poloclub.github.io/wordflow.

研究の動機と目的

• 大規模言語モデル（LLM）の使用に訓練やガイダンスが不足する非エキスパートユーザーが直面するプロンプトエンジニアリングの課題に対処すること。
• 既存のプロンプトエンジニアリングツールが主にAI開発者を対象としているのに対し、日常ユーザーを焦点にすることで研究ギャップを埋めること。
• 協働的・コミュニティ主導の手法を活用してプロンプト設計と使用を改善する、新しいパラダイム「ソーシャルプロンプトエンジニアリング」を提唱・評価すること。
• ローカルでプライベートなLLM推論を可能にし、プロンプト作成と共有に関するソーシャルインタラクションを支援するオープンソースのウェブベーステキストエディタ「Wordflow」を構築すること。
• ソーシャルコンピューティング機能が、ユーザーの関与、プロンプトの質、LLMとのインタラクションのアクセシビリティにどのように寄与するかを調査すること。

提案手法

• WebGPUを用いたローカル推論により、ユーザーのデバイス上で直接LLMプロンプトを入力・編集・実行できる、ブラウザベースのオープンソーステキストエディタであるWordflow。
• テキストの直接操作をサポート：ユーザーがテキストを強調表示し、1クリックでプロンプトを適用してコンテンツを変換（例：校正や翻訳）できる。
• ユーザーはプロンプトやLLMの設定をカスタマイズでき、プロンプトマネージャーに保存し、タグやメタデータを用いてコミュニティと共有できる。
• プラットフォームでは、人気・新着・タグ別にソート・フィルタリング可能なコミュニティ共有プロンプトを発見・再利用できる。
• ローカルでのLLM実行により、データプライバシーが確保され、外部APIやバックエンドサーバーへの依存が不要になる。
• ソーシャル機能にはプロンプト共有、コミュニティによるキュレーション、有害コンテンツのユーザー報告が含まれており、今後はコンテンツモデレーションやレピュテーションシステムの導入を計画。

実験結果

リサーチクエスチョン

• RQ1 ソーシャルプロンプトエンジニアリングは、非エキスパートユーザーが効果的なLLMプロンプトを設計するのをどのように支援するか？
• RQ2 日常ユーザーがLLMとやり取りする際の一般的なユースケースとプロンプトパターンは何か？
• RQ3 ユーザーはどのようにコミュニティ共有プロンプトを変更・再共有しており、これはプロンプトにおける協働学習の様子をどのように示唆するか？
• RQ4 タグ付け、人気順ランキング、レピュテーションシステムといったソーシャル機能が、ユーザーの関与やプロンプト発見の質を向上させる役割を果たすか？
• RQ5 誤情報や有害な出力を抑えるために、どのようにして責任あるプロンプト作成を促進するソーシャルシステムを設計できるか？

主な発見

• Wordflowは、WebGPUを用いたブラウザ内ローカル実行により、外部APIへの依存を排除し、データプライバシーを強化しながら、非エキスパートユーザーがLLMプロンプトをローカルで作成・実行・共有できる。
• プロンプト共有、タグ付け、コミュニティキュレーションといったプラットフォームのソーシャル機能は、効果的なプロンプト技術の共同学習と発見を促進する。
• ユーザーは人気・新着・タグ別にプロンプトをフィルタリング・ソート可能であり、高品質で文脈に適したプロンプトの効率的発見が可能になる。
• 1クリックでLLMを実行できるテキストの直接操作をサポートすることで、技術的スキルに乏しいユーザーのエントリーバリアが著しく低下する。
• プロンプトの進化を分析するための予備的な使用ログの分析を計画中であり、ユーザーがコミュニティプロンプトをどのように適応・再共有するかを検証する。
• 有害なプロンプトを報告するメカニズムを備えており、責任あるAI実践を促進するソーシャルプロンプトシステムの基盤が整っている。