[论文解读] Designing Trustworthy AI: A Human-Machine Teaming Framework to Guide Development

Carol J. Smith|arXiv (Cornell University)|Oct 8, 2019

Ethics and Social Impacts of AI被引用 14

一句话总结

本文提出了人类-机器协作（HMT）框架，通过将伦理规范嵌入设计过程，指导人工智能开发向可信方向发展。该框架整合了人机交互原则与伦理准则，确保人工智能系统具备可问责性、安全性、诚实性、可用性及对人类的尊重，同时通过可用性测试验证人类对系统的理解与系统合规性。

ABSTRACT

Artificial intelligence (AI) holds great promise to empower us with knowledge and augment our effectiveness. We can -- and must -- ensure that we keep humans safe and in control, particularly with regard to government and public sector applications that affect broad populations. How can AI development teams harness the power of AI systems and design them to be valuable to humans? Diverse teams are needed to build trustworthy artificial intelligent systems, and those teams need to coalesce around a shared set of ethics. There are many discussions in the AI field about ethics and trust, but there are few frameworks available for people to use as guidance when creating these systems. The Human-Machine Teaming (HMT) Framework for Designing Ethical AI Experiences described in this paper, when used with a set of technical ethics, will guide AI development teams to create AI systems that are accountable, de-risked, respectful, secure, honest, and usable. To support the team's efforts, activities to understand people's needs and concerns will be introduced along with the themes to support the team's efforts. For example, usability testing can help determine if the audience understands how the AI system works and complies with the HMT Framework. The HMT Framework is based on reviews of existing ethical codes and best practices in human-computer interaction and software development. Human-machine teams are strongest when human users can trust AI systems to behave as expected, safely, securely, and understandably. Using the HMT Framework to design trustworthy AI systems will provide support to teams in identifying potential issues ahead of time and making great experiences for humans.

研究动机与目标

• 解决现有实际框架缺失的问题，以指导现实世界应用中的人工智能伦理开发。
• 确保人工智能系统在政府和公共部门背景下保持安全、可控且可信。
• 为多样化的人工智能开发团队提供共享的伦理基础，以统一价值观与设计原则。
• 将可用性与人类理解整合到人工智能系统设计中，以增强信任与采纳度。
• 通过结构化的团队活动主动识别伦理与可用性问题，降低人工智能部署风险。

提出的方法

• 基于现有伦理准则及人机交互与软件开发最佳实践的综合分析，构建人类-机器协作（HMT）框架。
• 将核心伦理原则——可问责性、降低风险、尊重、安全性、诚实性与可用性——嵌入人工智能设计生命周期。
• 引入以用户为中心的活动，如可用性测试，以评估用户是否理解人工智能系统功能与行为。
• 采用迭代设计流程，根据用户反馈与伦理合规性评估结果，持续评估与优化人工智能系统。
• 围绕共享伦理与人类需求组织团队协作，以增强对人工智能结果的信任。
• 在公共部门人工智能场景中应用该框架，特别是在影响广泛人群的政府应用中。

实验结果

研究问题

• RQ1 人工智能开发团队如何系统性地将伦理原则嵌入人工智能系统的设计中？
• RQ2 何种实用框架可指导团队开发出可信、可用且尊重人类用户的AI系统？
• RQ3 如何利用可用性测试确保人类用户理解并信任AI系统的行为？
• RQ4 在公共部门应用中，为实现多样化AI开发团队的价值与设计原则对齐，需要何种共享伦理基础？
• RQ5 如何设计人工智能系统，使其在高影响力领域中既具备技术可靠性，又体现社会责任？

主要发现

• HMT框架通过将伦理规范融入开发生命周期，为设计可信人工智能提供了结构化且可操作的方法。
• 可用性测试能有效识别用户对人工智能系统理解的盲区，使团队能够提升透明度与信任度。
• 该框架支持构建具备可问责性、安全性以及对人类自主权与决策尊重的人工智能系统。
• 通过引导多样化团队围绕共享伦理原则协作，该框架降低了公共部门人工智能部署中出现意外后果的风险。
• 将人机交互实践与人工智能伦理相结合，可显著提升系统的可用性与用户信心。
• 该框架在政府服务等高风险环境中尤为有效，因为在这些场景中，信任与可靠性至关重要。