[论文解读] Ask Not What AI Can Do, But What AI Should Do: Towards a Framework of Task Delegability

Brian Lubars, Chenhao Tan|arXiv (Cornell University)|Feb 8, 2019

Human-Automation Interaction and Safety参考文献 41被引用 29

一句话总结

本文提出了一种以人为中心的任务委派框架，识别出动机、难度、风险和信任为影响人类偏好的关键因素。通过对100项多样化任务的调查，发现人们强烈偏好人机协同设计而非完全自动化，其中信任是与委派偏好相关性最强的因素，尽管可解释性与委派偏好的相关性较弱。

ABSTRACT

While artificial intelligence (AI) holds promise for addressing societal challenges, issues of exactly which tasks to automate and to what extent to do so remain understudied. We approach this problem of task delegability from a human-centered perspective by developing a framework on human perception of task delegation to AI. We consider four high-level factors that can contribute to a delegation decision: motivation, difficulty, risk, and trust. To obtain an empirical understanding of human preferences in different tasks, we build a dataset of 100 tasks from academic papers, popular media portrayal of AI, and everyday life, and administer a survey based on our proposed framework. We find little preference for full AI control and a strong preference for machine-in-the-loop designs, in which humans play the leading role. Among the four factors, trust is the most correlated with human preferences of optimal human-machine delegation. This framework represents a first step towards characterizing human preferences of AI automation across tasks. We hope this work encourages future efforts towards understanding such individual attitudes; our goal is to inform the public and the AI research community rather than dictating any direction in technology development.

研究动机与目标

• 理解人类在何种任务上更倾向于将任务委派给AI，超越能力范畴，关注以人为中心的偏好。
• 识别影响人类对AI自动化决策的核心因素，特别是信任、动机、风险和难度。
• 基于跨多样化任务的实证调查数据，开发并验证一个任务委派框架。
• 通过人类态度指导AI发展，而非单方面规定技术方向。
• 通过将自动化决策建立在人类感知基础上，弥合AI能力与社会接受度之间的差距。

提出的方法

• 基于功能分配和信任文献，构建了一个包含四个因素的框架：动机、难度、风险和信任。
• 从学术研究、媒体报道和日常生活收集100项任务，构建数据集。
• 通过Amazon Mechanical Turk平台发放调查，评估人类对四个因素的评价以及偏好的委派层级。
• 将委派偏好分类为五类：仅人类、人机协同（两种类型）以及仅AI。
• 使用相关性分析评估四个因素与委派偏好之间的关系。
• 应用注意力检查和过滤机制，确保数据质量并减少调查响应中的偏差。

实验结果

研究问题

• RQ1 哪些以人为中心的因素最显著影响人类对AI任务委派的偏好？
• RQ2 动机、难度、风险和信任与人类对AI自动化的偏好之间存在何种相关性？
• RQ3 人们在多大程度上偏好完全由AI控制，而非人机协同设计？
• RQ4 感知可解释性与委派偏好之间存在何种关系？
• RQ5 该标准化框架在多样化任务中是否能普遍适用于人类对自动化的感知？

主要发现

• 参与者对完全由AI控制的方案偏好较低，大多数人更倾向于由人类主导的人机协同设计。
• 信任是与委派偏好相关性最强的因素，相关系数达0.59。
• 可解释性与委派偏好的相关性较弱，表明可解释性本身并不能驱动对自动化的偏好。
• 即使在癌症诊断或育儿等高风险任务中，人们仍愿意接受人机协同的辅助。
• 该框架展现出中等预测能力，其中信任与委派偏好的最高相关系数为0.59。
• 偏好具有动态性和情境依赖性，文化与情境因素可能影响回答，但未在调查中被完全捕捉。