[论文解读] The Challenges and Opportunities of Human-Centered AI for Trustworthy Robots and Autonomous Systems

Hongmei He, J. M. N. T. Gray+4 more|arXiv (Cornell University)|May 7, 2021

Ethics and Social Impacts of AI被引用 6

一句话总结

本文提出了一种以人为本的人工智能（HAI）框架，用于设计可信赖的机器人与自主系统（RAS），强调五个核心特性：安全性、安全性、容错性、人机交互（HMI）可信度以及法律/伦理合规性。文章分析了实现这些特性的挑战，并明确了人工智能在增强可信度方面的作用，通过设计实现了一种新的RAS接受模型，优先考虑人类水平的智能与社会福祉。

ABSTRACT

The trustworthiness of Robots and Autonomous Systems (RAS) has gained a prominent position on many research agendas towards fully autonomous systems. This research systematically explores, for the first time, the key facets of human-centered AI (HAI) for trustworthy RAS. In this article, five key properties of a trustworthy RAS initially have been identified. RAS must be (i) safe in any uncertain and dynamic surrounding environments; (ii) secure, thus protecting itself from any cyber-threats; (iii) healthy with fault tolerance; (iv) trusted and easy to use to allow effective human-machine interaction (HMI), and (v) compliant with the law and ethical expectations. Then, the challenges in implementing trustworthy autonomous system are analytically reviewed, in respects of the five key properties, and the roles of AI technologies have been explored to ensure the trustiness of RAS with respects to safety, security, health and HMI, while reflecting the requirements of ethics in the design of RAS. While applications of RAS have mainly focused on performance and productivity, the risks posed by advanced AI in RAS have not received sufficient scientific attention. Hence, a new acceptance model of RAS is provided, as a framework for requirements to human-centered AI and for implementing trustworthy RAS by design. This approach promotes human-level intelligence to augment human's capacity. while focusing on contributions to humanity.

研究动机与目标

• 为应对在动态、不确定环境中对可信赖机器人与自主系统（RAS）日益增长的需求。
• 识别并分析确保RAS在安全性、安全性、健康、HMI及伦理合规性方面可信度的关键挑战。
• 提出一种以人为本的人工智能（HAI）框架，将伦理与社会需求默认集成到RAS设计中。
• 将关注重点从性能与生产率，转向人类水平智能增强与社会福祉在RAS开发中的优先地位。
• 建立一种新的RAS接受模型，通过HAI原则将可信度嵌入设计过程。

提出的方法

• 识别可信RAS的五个核心特性：动态环境中的安全性、网络安全性、容错性（健康）、有效的人机交互（HMI）以及法律/伦理合规性。
• 分析实现这五项可信特性所面临的工程技术与社会挑战。
• 评估人工智能技术在提升安全性、安全性、系统健康与HMI有效性方面的作用。
• 提出一种基于以人为本的人工智能的新RAS接受模型，强调可信度的逐项设计集成。
• 将伦理考量整合到RAS设计生命周期中，确保与社会期望和法律标准保持一致。
• 倡导将人工智能不仅用于自动化，更用于增强人类能力并为人类社会做出积极贡献。

实验结果

研究问题

• RQ1 如何系统性地应用以人为本的人工智能，以确保机器人与自主系统的可信度？
• RQ2 在实现自主系统安全性、安全性与容错性方面，面临哪些关键技术与伦理挑战？
• RQ3 人工智能在哪些方面可以增强人机交互（HMI），以提升RAS中的信任度与可用性？
• RQ4 如何从设计之初就将法律与伦理合规性嵌入自主系统？
• RQ5 需要何种新的接受模型，以通过以人为本的人工智能原则指导可信赖RAS的开发？

主要发现

• 本文确立了可信RAS的五个基础特性：安全性、安全性、容错性、HMI可信度以及法律/伦理合规性。
• 研究指出，当前RAS应用往往优先考虑性能与生产率，而非对人工智能风险进行科学审慎的审视。
• 研究表明，当人工智能技术被恰当整合时，可显著提升RAS的安全性、安全性与系统健康水平。
• 有效的人机交互（HMI）对于建立信任至关重要，人工智能必须被设计为支持直观、可靠且透明的协作。
• 所提出的基于HAI的接受模型使RAS能够从设计之初就将可信度作为核心要求。
• 该框架将人类水平智能增强置于核心目标，确保RAS为社会与人类福祉做出积极贡献。