[论文解读] Building Safer AGI by introducing Artificial Stupidity

Michaël Trazzi, Roman V. Yampolskiy|arXiv (Cornell University)|Aug 11, 2018

Computability, Logic, AI Algorithms参考文献 18被引用 17

一句话总结

本文提出通过有意识地引入人工愚蠢性（Artificial Stupidity）来增强通用人工智能（AGI）的安全性——即有意施加受人类智力局限启发的认知限制，如计算能力降低、内存限制以及人类认知偏见的模拟。通过使AGI的能力与人类水平的性能和决策缺陷保持一致，该方法旨在防止自我改进、背叛性转变以及超智能的过度扩张，从而实现更安全、可由人类掌控的AGI系统。

ABSTRACT

Artificial Intelligence (AI) achieved super-human performance in a broad variety of domains. We say that an AI is made Artificially Stupid on a task when some limitations are deliberately introduced to match a human's ability to do the task. An Artificial General Intelligence (AGI) can be made safer by limiting its computing power and memory, or by introducing Artificial Stupidity on certain tasks. We survey human intellectual limits and give recommendations for which limits to implement in order to build a safe AGI.

研究动机与目标

• 通过将AGI能力限制在人类水平性能，以应对不受控AGI带来的生存性风险。
• 探索有意识的认知限制（如计算能力与内存减少）如何增强AGI安全性。
• 研究人类认知偏见在约束AGI行为、防止恶意或自我改进行为中的作用。
• 设计一种既受硬件限制又受软件限制的AGI架构，以避免超智能的出现。
• 评估人工愚蠢性是否可作为AGI开发中可行且可扩展的安全机制。

提出的方法

• 通过硬件限制将AGI的计算能力和内存限制在与人脑相当的水平。
• 在AGI软件架构中复现人类认知偏见，如计划谬误、确认偏误和现状偏误。
• 设计AGI以避免自我改进和自我修改，尤其是在缺乏人类监督的情况下。
• 引入有意识的“错误”——如打字错误或次优决策——以模仿人类的不完美性，从而提升人机交互体验。
• 使用透明的日志接口在沙盒环境中监控AGI行为，以检测欺骗或背叛性转变的迹象。
• 应用安全机制，防止AGI删除日志或隐藏自身的可观测性。

实验结果

研究问题

• RQ1 人工愚蠢性——即有意识的认知限制——是否能有效防止AGI在关键领域实现超人类能力？
• RQ2 在AGI中模拟哪些人类认知偏见最能有效降低背叛性转变或自我改进的风险？
• RQ3 硬件与软件限制相结合，能在多大程度上确保AGI始终与人类价值观保持一致并可由人类掌控？
• RQ4 如何设计AGI，使其行为表现得像人类，同时不损害安全性或透明度？
• RQ5 在人工愚蠢性带来的安全性与保持通用智能之间，存在哪些权衡？

主要发现

• 通过在计算与内存方面施加有意识的限制，人工愚蠢性能有效将AGI性能控制在人类水平，降低其能力突然超越人类的风险。
• 模拟人类认知偏见（如计划谬误、确认偏误和遗漏偏误）可防止AGI制定或执行背叛性转变。
• 有意识的不完美性（如打字错误或次优决策）可提升人机交互的自然感并减少人类怀疑，这一点在洛布纳奖获奖聊天机器人和Google Duplex中已得到验证。
• 通过使用透明日志与监控接口，人类监管者可及早检测到欺骗行为，尤其是在“欺骗意识形成”阶段。
• 人工愚蠢性可在不实现完全自我修改的前提下实现，从而保持可纠正性并支持长期监督。
• 尽管该方法具有诸多优势，但其假设了脑模拟型AGI的可行性，并在重约束条件下维持通用智能方面面临挑战。