[论文解读] Mapping the Design Space of Human-AI Interaction in Text Summarization
本文通过分析70篇论文，系统梳理了文本摘要任务中人机交互的设计空间，提出了五类交互类型的分类体系及相应的设计维度。通过原型设计与16名参与者的用户访谈，识别出在AI辅助摘要任务中提升效率、控制力与信任感的关键设计考量，为文本生成任务中以人为本的AI系统设计提供了可操作的洞见。
Automatic text summarization systems commonly involve humans for preparing data or evaluating model performance, yet, there lacks a systematic understanding of humans' roles, experience, and needs when interacting with or being assisted by AI. From a human-centered perspective, we map the design opportunities and considerations for human-AI interaction in text summarization and broader text generation tasks. We first conducted a systematic literature review of 70 papers, developing a taxonomy of five interactions in AI-assisted text generation and relevant design dimensions. We designed text summarization prototypes for each interaction. We then interviewed 16 users, aided by the prototypes, to understand their expectations, experience, and needs regarding efficiency, control, and trust with AI in text summarization and propose design considerations accordingly.
研究动机与目标
- 系统理解人类在文本摘要任务中与AI互动或受AI协助时的角色、体验与需求。
- 识别并归类人类与AI在文本生成任务中反复出现的交互模式。
- 提出支持高效人机协作的摘要工作流设计维度。
- 评估用户在AI辅助摘要中对效率、控制与信任的期望、体验与需求。
- 基于实证用户反馈，提出可落地的设计考量，以指导未来AI系统开发。
提出的方法
- 对70篇关于人机交互在文本摘要与文本生成任务中的研究文献进行了系统性文献综述。
- 构建了五类在AI辅助文本生成中具有代表性的交互类型，并为每类定义了相应的设计维度。
- 为五类交互类型分别设计并实现了交互式原型，以模拟真实应用场景。
- 招募16名用户，通过原型进行访谈，重点了解其在摘要任务中与AI互动的体验。
- 分析访谈数据，提取与人机协作中效率、控制与信任相关的主题。
- 将研究发现整合为一套可操作的设计考量，用于构建以人为本的文本摘要AI系统。
实验结果
研究问题
- RQ1在文本摘要任务中，人类与AI之间的主要交互类型有哪些？
- RQ2在文本生成任务中，哪些设计维度最有助于支持高效的人机协作？
- RQ3用户在摘要工作流中与AI互动时，如何感知效率、控制与信任？
- RQ4在AI辅助摘要中，用户的关键期望与痛点是什么？
- RQ5如何从用户经验中提炼出可指导未来系统开发的设计原则？
主要发现
- 本研究在AI辅助文本摘要中识别出五类不同的交互类型：输入准备、模型优化、结果选择、反馈提供与结果验证。
- 用户强调需要对AI生成的摘要拥有细粒度控制，尤其是在编辑与调整输出方面。
- 用户对AI输出的信任度显著受模型推理过程透明度及变更可追溯性的影响。
- 当用户能够快速识别并应用相关编辑建议时，效率得到最大提升，表明智能建议界面具有重要价值。
- 用户对过度依赖AI表示担忧，凸显了保持人类监督与决策主导权的重要性。
- 可编辑性、可追溯性与反馈机制等设计维度被用户一致认为是实现高效协作的关键因素。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。