[论文解读] Discovering the Sweet Spot of Human-Computer Configurations: A Case Study in Information Extraction

Maximilian Mackeprang, Claudia Müller-Birn+1 more|arXiv (Cornell University)|Sep 16, 2019

Persona Design and Applications参考文献 61被引用 4

一句话总结

本文提出了一种系统化方法，通过探索自动化水平（LoA）来配置人机交互，以在人类工作量与系统性能之间找到最佳平衡点，即‘黄金点’。该方法应用于协作创意生成中的信息抽取，支持对配置的实证评估，最终开发出一个可配置的开源工具，可在最小化人类工作量的同时优化标注质量。

ABSTRACT

Interactive intelligent systems, i.e., interactive systems that employ AI technologies, are currently present in many parts of our social, public and political life. An issue reoccurring often in the development of these systems is the question regarding the level of appropriate human and computer contributions. Engineers and designers lack a way of systematically defining and delimiting possible options for designing such systems in terms of levels of automation. In this paper, we propose, apply and reflect on a method for human-computer configuration design. It supports the systematic investigation of the design space for developing an interactive intelligent system. We illustrate our method with a use case in the context of collaborative ideation. Here, we developed a tool for information extraction from idea content. A challenge was to find the right level of algorithmic support, whereby the quality of the information extraction should be as high as possible, but, at the same time, the human effort should be low. Such contradicting goals are often an issue in system development; thus, our method proposed helped us to conceptualize and explore the design space. Based on a critical reflection on our method application, we want to offer a complementary perspective to the value-centered design of interactive intelligent systems. Our overarching goal is to contribute to the design of so-called hybrid systems where humans and computers are partners.

研究动机与目标

• 为解决在设计交互式智能系统时缺乏系统性指导的问题，特别是确定人类与机器贡献之间适当平衡的问题。
• 识别出‘黄金点’——即在协作创意生成中，最小化人类工作量与最大化信息抽取质量之间的平衡配置。
• 开发一种方法，支持对交互式智能系统中人机配置设计空间的系统性探索。
• 提供一个经过实证验证、可配置的信息抽取工具，可针对不同应用场景目标进行调整。
• 通过聚焦人机协作中的可配置性与性能权衡，为以价值为中心的设计提供互补视角。

提出的方法

• 该方法基于定义和评估多个自动化水平（LoA），每个LoA代表一种特定的人机任务分配配置。
• 每个LoA均具有特定的技术实现方式（计算类型）和明确的人类参与程度。
• 该方法采用结构化的设计空间探索，系统性地定义配置并进行实证评估。
• 提出指标目录和指标定义依赖图，作为支持阈值监控和配置评估的增强功能。
• 该方法应用于一个真实用例：在协作创意生成中，对创意内容进行信息抽取，使用语义标注。
• 由此产生的工具ICV（交互式概念验证）包含一个配置面板，允许用户根据具体上下文目标选择‘黄金点’。

实验结果

研究问题

• RQ1 我们如何系统性地定义和评估交互式智能系统中人机交互的不同配置？
• RQ2 在协作创意生成的信息抽取中，人类工作量与系统性能之间的最佳平衡是什么？
• RQ3 自动化水平在真实交互系统中如何具体应用并进行评估？
• RQ4 在自动化信息抽取中，标注质量与人类工作量之间的权衡是什么？
• RQ5 该方法如何推广并适应其他交互式智能系统应用？

主要发现

• 该方法成功识别出信息抽取中的‘黄金点’配置，在最小化人类工作量的同时保持了高质量的标注。
• 在多个配置上的实证评估表明，中等自动化水平在性能与工作量之间实现了最佳权衡。
• 开发的ICV工具以开源形式发布，并配备配置面板，使用户可根据应用场景上下文选择系统行为。
• 该方法在澄清设计决策和促进交互系统中自动化选择的知情决策方面被证明是有效的。
• 作者识别出三项关键增强：指标目录、指标依赖图，以及用于迭代设计改进的动作-反思模型。
• 本研究提供了证据，表明系统化配置设计优于随意的自动化选择，能带来更好的系统结果。