[論文レビュー] Bridging the Gulf of Envisioning: Cognitive Design Challenges in LLM Interfaces

Hariharan Subramonyam, Roy Pea+3 more|arXiv (Cornell University)|Sep 25, 2023

Topic Modeling被引用数 7

ひとこと要約

本論文は、人間とLLMの相互作用における認知的ギャップである「想像の谷間（gulf of envisioning）」を提唱する。ユーザーはLLMの能力、プロンプトの構築法、出力の評価方法についての不確実性から、目標を効果的なプロンプトに翻訳するのに苦労する。本研究は、能力、言語、意図性の3つの不一致を解消するためのフレームワークを提示し、LLMとの明確で効果的な対話を支援するための設計指針を提供する。

ABSTRACT

Large language models (LLMs) exhibit dynamic capabilities and appear to comprehend complex and ambiguous natural language prompts. However, calibrating LLM interactions is challenging for interface designers and end-users alike. A central issue is our limited grasp of how human cognitive processes begin with a goal and form intentions for executing actions, a blindspot even in established interaction models such as Norman's gulfs of execution and evaluation. To address this gap, we theorize how end-users 'envision' translating their goals into clear intentions and craft prompts to obtain the desired LLM response. We define a process of Envisioning by highlighting three misalignments: (1) knowing whether LLMs can accomplish the task, (2) how to instruct the LLM to do the task, and (3) how to evaluate the success of the LLM's output in meeting the goal. Finally, we make recommendations to narrow the envisioning gulf in human-LLM interactions.

研究の動機と目的

• 人間-LLM相互作用における新たな認知的課題、すなわち『想像の谷間』を特定・特徴づけること。これは、ユーザーの目標と、それを実行可能な意図に変換する能力との間のギャップに由来する。
• 特に、システムのメンタルモデルが存在しない状況において、ユーザーがどのように効果的なLLMプロンプトを想像し構造化するかを理解するための理論的枠組みの欠如に起因する課題を解決すること。
• ノーマンの『実行の谷間』と『評価の谷間』といった伝統的なHCIモデルを拡張し、動的で生成的インタフェースにおいて意図形成に焦点を当てた新たな認知的層を導入すること。
• LLMの能力、プロンプトの構築、出力の評価における不確実性を乗り越えるための実行可能な設計提案を提供すること。

提案手法

• ユーザーが抽象的な目標をLLM用に実行可能なプロンプトに翻訳するプロセスに焦点を当てた認知的フレームワークを提唱する。
• 3つの核心的な不一致を同定する：能力のギャップ（LLMが何ができるか）、言語のギャップ（指示をどう表現するか）、意図性のギャップ（目標に対して出力が適切かどうかをどう評価するか）。
• 認知科学およびHCIの理論を援用し、明確なシステムの提示機能やメンタルモデルが欠如する状況下で、ユーザーがいかに意図を形成するかをモデル化する。
• NLIおよびLLMインタラクションの既存パターンを分析し、タスク特化型の固定型インターフェースと、LLMの持つオープンエンドで動的な性質との対比を明らかにする。
• 認知的負荷の軽減、プロンプト構築の支援（スキャフォールディング）、LLM挙動の透明性を重視した設計指針を統合的に提示する。
• 少数の例提示（few-shot prompting）、自己質問（self-ask）、思考の木（tree-of-thoughts）といった、想像の谷間を埋める支援となる戦略の具体例を統合する。

実験結果

リサーチクエスチョン

• RQ1 ユーザーはどのように高レベルの目標から、LLM向けの具体的かつ実行可能なプロンプトへと認知的に移行するのか？
• RQ2 ユーザーが効果的にLLMのインタラクションを構築・評価できない主な不一致は何か？
• RQ3 ノーマンの『実行の谷間』と『評価の谷間』といった伝統的HCIモデルが、LLM相互作用の核心的課題を十分に捉えていないのはなぜか？
• RQ4 LLMの能力と限界が不明瞭な状況下で、インターフェース設計はユーザーが効果的なプロンプトを想像するのをどのように支援できるか？
• RQ5 ユーザーがLLM出力の質と元の目標との整合性を評価するのを支援する設計戦略は何か？

主な発見

• 『想像の谷間』は、LLMの能力、プロンプトの構築法、出力の評価方法に関する不確実性から生じる、人間-LLM相互作用における明確な認知的障壁である。
• ユーザーはしばしば『能力のギャップ』に直面しており、たとえタスクが妥当に思えても、LLMがそのタスクを実行可能かどうかを把握していない。
• 『言語のギャップ』は、効果的なプロンプトの表現方法が標準的でなく、発見可能な仕組みがないために生じる。これにより、一貫性のない、最適でない結果が生じる。
• 『意図性のギャップ』は、バイアス、一貫性、完全性といった観点で、LLMの出力が元の目標を満たしているかどうかを評価する基準がユーザーに欠けているために生じる。
• 現在のNLIシステムは、LLMのオープンエンドで動的な性質をサポートできないため、LLMには不適切である。これらは機能特化型の設計を採用しており、LLMのインタラクションに不釣り合いである。
• スキャフォールディング、相互作用型フィードバック、透明な推論（例：self-ask、tree-of-thoughts）といった設計介入は、意図形成をより明確で管理可能にするため、想像の谷間を埋める支援となる。