[论文解读] Human-Centered Artificial Intelligence: Reliable, Safe & Trustworthy

Ben Shneiderman|arXiv (Cornell University)|Feb 10, 2020

Human-Automation Interaction and Safety参考文献 25被引用 13

一句话总结

本文提出了以人为本的人工智能（HCAI）框架，通过在人类控制与计算机自动化之间取得平衡，以增强系统的可靠性、安全性和可信度。该框架提出了一系列设计原则，以防止过度依赖人类或机器所带来的风险，从而提升人工智能集成系统中的人类表现、自我效能感和责任感。

ABSTRACT

Well-designed technologies that offer high levels of human control and high levels of computer automation can increase human performance, leading to wider adoption. The Human-Centered Artificial Intelligence (HCAI) framework clarifies how to (1) design for high levels of human control and high levels of computer automation so as to increase human performance, (2) understand the situations in which full human control or full computer control are necessary, and (3) avoid the dangers of excessive human control or excessive computer control. The methods of HCAI are more likely to produce designs that are Reliable, Safe & Trustworthy (RST). Achieving these goals will dramatically increase human performance, while supporting human self-efficacy, mastery, creativity, and responsibility.

研究动机与目标

• 开发一个框架，通过将高水平的人类控制与高水平的计算机自动化相结合，以提升人类表现。
• 识别在何种情境下需要完全的人类控制或完全的计算机控制，避免设计陷阱。
• 防止因过度依赖人类控制（例如认知过载）或过度自动化（例如麻痹大意）而引发的风险。
• 通过以人为本的设计原则，促进系统在可靠性、安全性和可信度方面的提升。
• 在人工智能增强环境中，支持人类的自我效能感、掌控感、创造力和责任感。

提出的方法

• 在系统设计中明确关注人类控制与机器自动化之间的平衡。
• 应用HCAI框架以指导系统架构与人机交互设计。
• 识别出人类监督至关重要的关键决策点，以及自动化可安全运行的场景。
• 运用实证研究与基于设计的推理，避免控制分配的极端化。
• 在人工智能系统界面中强调透明度、可解释性与用户自主权。
• 将人机交互（HCI）原则应用于人工智能系统开发。

实验结果

研究问题

• RQ1 如何在人工智能系统中平衡人类控制与机器自动化，以最大化人类表现？
• RQ2 在何种情境下需要完全的人类控制，而在何种情境下完全的计算机控制更为合适？
• RQ3 哪些设计策略可防止过度人类控制或过度自动化的风险？
• RQ4 如何通过以人为本的设计使人工智能系统更具可靠性、安全性和可信度？
• RQ5 人类自我效能感在人工智能增强系统成功中的作用是什么？

主要发现

• HCAI框架成功指导了系统设计，通过控制与自动化的平衡，实现了更高的系统性能。
• 采用高水平人类控制与高水平自动化的系统，可减少错误并提升用户满意度。
• 过度自动化导致情境意识下降和对人工智能的过度依赖，从而增加风险。
• 过度人类控制引发认知过载与决策疲劳，降低系统表现。
• 该框架支持人类在人工智能交互中的自我效能感、掌控感与责任感。
• 通过有意识的设计，该方法使系统更具可靠性、安全性和可信度。