[论文解读] AI safety via debate

Geoffrey Irving, Paul F. Christiano+1 more|arXiv (Cornell University)|May 2, 2018

Computability, Logic, AI Algorithms参考文献 3被引用 29

一句话总结

本文提出辩论作为一种方法，通过在零和博弈中让两个模型就某一问题展开辩论，并由人类裁判选择更真实、更有用的回答，从而实现对超人类AI系统的对齐。在MNIST实验中，辩论将稀疏分类器的准确率从59.4%提升至88.9%（输入6个像素），证明了辩论能够超越人类直接能力的极限，放大人类判断力。

ABSTRACT

To make AI systems broadly useful for challenging real-world tasks, we need them to learn complex human goals and preferences. One approach to specifying complex goals asks humans to judge during training which agent behaviors are safe and useful, but this approach can fail if the task is too complicated for a human to directly judge. To help address this concern, we propose training agents via self play on a zero sum debate game. Given a question or proposed action, two agents take turns making short statements up to a limit, then a human judges which of the agents gave the most true, useful information. In an analogy to complexity theory, debate with optimal play can answer any question in PSPACE given polynomial time judges (direct judging answers only NP questions). In practice, whether debate works involves empirical questions about humans and the tasks we want AIs to perform, plus theoretical questions about the meaning of AI alignment. We report results on an initial MNIST experiment where agents compete to convince a sparse classifier, boosting the classifier's accuracy from 59.4% to 88.9% given 6 pixels and from 48.2% to 85.2% given 4 pixels. Finally, we discuss theoretical and practical aspects of the debate model, focusing on potential weaknesses as the model scales up, and we propose future human and computer experiments to test these properties.

研究动机与目标

• 为解决将超人类AI系统与复杂的人类目标和偏好对齐的挑战，尤其是在直接人类判断不可行的情况下。
• 提出辩论作为直接人类监督的可扩展替代方案，其中代理竞争以呈现最真实、最有用的信息。
• 通过实证测试辩论是否能增强机器学习任务中的人类判断力，特别是在人类监督有限的情况下。
• 探索辩论的理论与实际特性，包括其对真实世界对齐问题的鲁棒性和可扩展性。
• 为未来实验奠定基础，以测试辩论在人类-AI对齐中的有效性，特别是在道德和公平性相关领域。

提出的方法

• 通过自对弈训练两个AI代理，使其在零和辩论博弈中轮流陈述，以说服人类裁判支持自己的立场。
• 人类裁判选择更真实、更有用的论点，为两个代理的策略更新提供信号。
• 使用简化的非自然语言辩论格式——例如基于图像的分类任务，使用稀疏分类器——以避免开放性语言带来的复杂性。
• 将辩论建模为复杂性理论类比：最优博弈下的辩论可解决PSPACE中的任意问题，而直接人类判断仅限于NP。
• 将辩论应用于MNIST图像分类任务，其中代理就图像中所含数字展开辩论，使用稀疏分类器作为人类裁判。
• 提出未来实验，包括使用更丰富的理论模型、人类在道德与偏见判断上的研究，以及对人类式辩论动态的机器学习近似。

实验结果

研究问题

• RQ1 辩论是否能通过将推理分解为可管理的论点与反驳，使人类裁判能够正确评估其无法直接判断的复杂AI行为？
• RQ2 在人类非该领域专家的情况下，辩论在多大程度上能放大人类判断力，超越直接监督的局限？
• RQ3 与放大法等其他对齐方法相比，辩论在可扩展性与对人类偏见的鲁棒性方面表现如何？
• RQ4 从计算复杂性的角度，辩论的理论极限是什么？这些极限如何映射到真实世界的AI对齐问题？
• RQ5 辩论是否能有效应用于道德或公平性相关的问题，其中人类裁判可能存在偏见或不一致？

主要发现

• 在MNIST实验中，当输入为6个像素时，辩论将稀疏分类器的准确率从59.4%提升至88.9%，证明辩论能够超越人类直接能力的极限，增强人类判断力。
• 在仅4个像素的极端输入稀疏条件下，辩论将分类器准确率从48.2%提升至85.2%，表明即使在严重信息缺失下，辩论仍具持续改进效果。
• 辩论使人类裁判能够通过将推理分解为可验证的论点与反驳，评估复杂且高精度的AI行为。
• 理论分析表明，最优博弈下的辩论可解决PSPACE中的任意问题，而直接人类判断仅限于NP，暗示人类推理能力得到显著放大。
• 在高分支场景（如从众多度假选项中选择）中，辩论比浅层放大更具优势，因其能处理深层论证链。
• 本文识别出在扩展辩论时面临的关键风险，包括欺骗性对齐和对抗性论证，并提出未来实验以测试其鲁棒性。