[论文解读] AI Failures: A Review of Underlying Issues

Debarag Narayan Banerjee, Sasanka Sekhar Chanda|arXiv (Cornell University)|Jul 18, 2020

Law, Economics, and Judicial Systems参考文献 2被引用 7

一句话总结

本文研究了人工智能系统故障的根本原因，重点关注概念化、设计和部署缺陷，而非更广泛的安全问题（如隐私权衡或对抗性攻击）。它将遗漏错误和错误行为、输入解释不足、硬件限制以及人工智能无法进行道德判断视为关键故障来源，并提出了针对性的缓解建议。

ABSTRACT

Instances of Artificial Intelligence (AI) systems failing to deliver consistent, satisfactory performance are legion. We investigate why AI failures occur. We address only a narrow subset of the broader field of AI Safety. We focus on AI failures on account of flaws in conceptualization, design and deployment. Other AI Safety issues like trade-offs between privacy and security or convenience, bad actors hacking into AI systems to create mayhem or bad actors deploying AI for purposes harmful to humanity and are out of scope of our discussion. We find that AI systems fail on account of omission and commission errors in the design of the AI system, as well as upon failure to develop an appropriate interpretation of input information. Moreover, even when there is no significant flaw in the AI software, an AI system may fail because the hardware is incapable of robust performance across environments. Finally an AI system is quite likely to fail in situations where, in effect, it is called upon to deliver moral judgments -- a capability AI does not possess. We observe certain trade-offs in measures to mitigate a subset of AI failures and provide some recommendations.

研究动机与目标

• 分析超越高层次安全关切的人工智能系统故障的根本原因。
• 具体聚焦于人工智能系统在概念化、设计和部署方面的缺陷。
• 识别诸如遗漏/错误行为、输入解释不良和硬件限制等故障模式。
• 考察人工智能在执行道德判断方面的局限性，这是关键的故障点。
• 提供可通过设计和部署改进来缓解部分人工智能故障的可操作建议。

提出的方法

• 系统性回顾已记录的人工智能故障，重点分析概念、设计和部署层面的问题。
• 将故障类型分类为遗漏错误（缺失预期行为）、错误行为（错误行为）和输入误解。
• 分析硬件约束作为导致不同环境中人工智能性能不一致的贡献因素。
• 考察人工智能即使被提示也无法进行真正的道德推理的局限性。
• 识别缓解策略中的权衡，例如提高鲁棒性与计算成本之间的权衡。
• 基于故障分类和权衡分析，制定缓解建议。

实验结果

研究问题

• RQ1 人工智能系统在现实部署中故障的主要原因是什么？
• RQ2 人工智能设计中的遗漏和错误行为如何导致系统故障？
• RQ3 硬件限制以何种方式导致人工智能性能不一致？
• RQ4 为何人工智能无法进行道德判断是关键故障点？
• RQ5 在实施人工智能故障缓解策略时存在哪些权衡？

主要发现

• 人工智能故障通常源于概念和设计缺陷，包括遗漏和错误行为，而不仅仅是算法复杂性所致。
• 输入数据解释不足是系统故障的主要原因，即使软件逻辑正确亦如此。
• 硬件限制常导致人工智能系统无法在多样化运行环境中保持稳健性能。
• 当人工智能被要求做出道德判断时，其会灾难性地失败，因其缺乏真正的伦理推理能力。
• 缓解策略涉及权衡，例如提高可靠性需增加计算成本，此类权衡必须仔细评估。
• 本文最终提出可操作的建议，以改进人工智能系统的设计与部署，降低故障风险。