[论文解读] Evaluating 5W3H Structured Prompting for Intent Alignment in Human-AI Interaction

Peng Gang|arXiv (Cornell University)|Mar 19, 2026

Human-Automation Interaction and Safety被引用 0

一句话总结

论文评估基于 5W3H 的 PPS（PPS）结构化提示框架，以在人机交互中更好地实现用户意图对齐，在多模型和领域中将渲染的 PPS、简单提示和原始 JSON 进行对比。

ABSTRACT

Natural language prompts often suffer from intent transmission loss: the gap between what users actually need and what they communicate to AI systems. We evaluate PPS (Prompt Protocol Specification), a 5W3H-based framework for structured intent representation in human-AI interaction. In a controlled three-condition study across 60 tasks in three domains (business, technical, and travel), three large language models (DeepSeek-V3, Qwen-Max, and Kimi), and three prompt conditions - (A) simple prompts, (B) raw PPS JSON, and (C) natural-language-rendered PPS - we collect 540 AI-generated outputs evaluated by an LLM judge. We introduce goal_alignment, a user-intent-centered evaluation dimension, and find that rendered PPS outperforms both simple prompts and raw JSON on this metric. PPS gains are task-dependent: gains are large in high-ambiguity business analysis tasks but reverse in low-ambiguity travel planning. We also identify a measurement asymmetry in standard LLM evaluation, where unconstrained prompts can inflate constraint adherence scores and mask the practical value of structured prompting. A preliminary retrospective survey (N = 20) further suggests a 66.1% reduction in follow-up prompts required, from 3.33 to 1.13 rounds. These findings suggest that structured intent representations can improve alignment and usability in human-AI interaction, especially in tasks where user intent is inherently ambiguous.

研究动机与目标

• 探讨结构化的意图表示如何影响用户目标与 AI 输出的对齐。
• 量化基于 5W3H 的 PPS 提示相对于简单提示和原始 JSON 在各任务与领域上的性能差异。
• 研究任务依赖性带来的收益及在大语言模型评估中的潜在偏差。
• 提供对 PPS 如何影响交互效率的初步用户调研。

提出的方法

• 使用 PPS（基于 5W3H 的框架）在结构化提示中表示意图。
• 进行一个受控的三条件研究，覆盖三个领域的 60 个任务。
• 在三种提示情境下评估来自三种大模型的 540 条 AI 输出：简单提示、原始 PPS JSON、以及自然语言呈现的 PPS。
• 开发一个目标对齐度量来评估以用户意图为中心的对齐情况。
• 使用一个 LLM 评审来评估输出在对齐性和有用性方面的表现。
• 包括一个初步回顾性调查（样本量 N=20），针对后续提示。

实验结果

研究问题

• RQ1 渲染的 PPS 与简单提示和原始 JSON 在实现目标对齐方面有何差异？
• RQ2 PPS 的收益是否在任务类型和领域（商业、技术、旅行）上具有一致性？
• RQ3 结构化提示是否引入或揭示标准 LLMevaluation 测量中的偏差？
• RQ4 PPS 对用户努力的影响如何，通过后续提示来衡量？

主要发现

• 渲染的 PPS 在目标对齐度量上优于简单提示和原始 JSON。
• PPS 的收益具有任务依赖性：在高度不确定的商业分析任务中显著，在低不确定性的旅行规划中则相反。
• 标准 LLM 评估中的衡量存在不对称性，未受约束的提示可能提高对约束遵循分数。
• 初步调查（样本量 N=20）显示后续提示次数减少 66.1%，从 3.33 轮降至 1.13 轮。