[论文解读] Bridging the Gulf of Envisioning: Cognitive Design Challenges in LLM Interfaces

Hariharan Subramonyam, Roy Pea+3 more|arXiv (Cornell University)|Sep 25, 2023

Topic Modeling被引用 7

一句话总结

本文提出了「设想鸿沟」（'gulf of envisioning'）这一概念——在人与大语言模型（LLM）交互中存在的一种认知鸿沟，用户因对LLM能力、提示词构建方式以及输出评估方式的不确定性，难以将目标转化为有效的提示。为此，本文提出一个三部分框架，以解决能力、语言和意图性错位问题，并提供设计指南，帮助用户形成清晰、高效的LLM交互。

ABSTRACT

Large language models (LLMs) exhibit dynamic capabilities and appear to comprehend complex and ambiguous natural language prompts. However, calibrating LLM interactions is challenging for interface designers and end-users alike. A central issue is our limited grasp of how human cognitive processes begin with a goal and form intentions for executing actions, a blindspot even in established interaction models such as Norman's gulfs of execution and evaluation. To address this gap, we theorize how end-users 'envision' translating their goals into clear intentions and craft prompts to obtain the desired LLM response. We define a process of Envisioning by highlighting three misalignments: (1) knowing whether LLMs can accomplish the task, (2) how to instruct the LLM to do the task, and (3) how to evaluate the success of the LLM's output in meeting the goal. Finally, we make recommendations to narrow the envisioning gulf in human-LLM interactions.

研究动机与目标

• 识别并描述人-LLM交互中一种新的认知挑战：即「设想鸿沟」，它存在于用户的目标与其形成可执行意图的能力之间。
• 解决缺乏理论框架来理解用户如何设想并构建有效LLM提示的问题，尤其是在缺乏系统心智模型的情况下。
• 通过引入聚焦于动态生成界面中意图形成的新认知层面，扩展传统HCI模型（如诺曼的执行鸿沟与评估鸿沟）。
• 提供可操作的设计建议，支持用户应对LLM能力、提示构建和输出评估中的不确定性。

提出的方法

• 提出一个以「设想」过程为核心的认知框架，用户需将抽象目标转化为可执行的LLM提示。
• 识别出三种核心错位：能力差距（LLM能做什么）、语言差距（如何措辞指令）以及意图性差距（如何根据目标评估输出）。
• 借鉴认知科学与HCI理论，建模用户在缺乏明确系统功能特征或心智模型的情况下形成意图的过程。
• 分析现有自然语言接口（NLI）与LLM交互模式，对比刚性、任务特定的界面与LLM开放、动态特性的差异。
• 基于认知负荷降低、提示构建的支架式支持以及LLM行为透明化，综合提炼设计建议。
• 整合少样本提示、自问（self-ask）和思维链（tree-of-thoughts）等策略作为帮助用户弥合设想鸿沟的范例。

实验结果

研究问题

• RQ1 用户如何在认知上从高层次目标过渡到针对LLM的具体、可执行提示？
• RQ2 哪些主要错位阻碍了用户有效构建和评估LLM交互？
• RQ3 为何传统HCI模型（如诺曼的执行鸿沟与评估鸿沟）无法捕捉LLM交互中的核心挑战？
• RQ4 当LLM的能力与局限性不明确时，界面设计如何支持用户设想有效提示？
• RQ5 哪些设计策略可帮助用户评估LLM输出的质量及其与原始目标的对齐程度？

主要发现

• 「设想鸿沟」是人-LLM交互中一种独特的认知障碍，源于用户因对LLM能力、提示构建方式及输出评估方式的不确定性，而难以形成明确意图。
• 用户面临「能力差距」——即使任务看似合理，他们也常常不清楚LLM能或不能完成哪些任务。
• 「语言差距」浮现，因为缺乏标准化或可发现的高效提示表达方式，导致结果不一致且效果不佳。
• 「意图性差距」存在，因为用户缺乏评估LLM输出是否满足其原始目标的标准，特别是在偏见、连贯性和完整性方面。
• 当前的NLI系统因设计刚性、功能特定，不适合LLM，无法支持LLM交互的开放性和动态特性。
• 设计干预措施（如支架式支持、交互反馈以及透明推理，如自问、思维链）可通过使意图形成过程更明确、更易管理，帮助用户弥合设想鸿沟。