[论文解读] Human-centered mechanism design with Democratic AI

Raphaël Koster, Jan Balaguer+9 more|arXiv (Cornell University)|Jan 27, 2022

Experimental Behavioral Economics Studies被引用 5

一句话总结

本文提出了民主化人工智能（Democratic AI），这是一种以人为本的机制设计框架，利用强化学习创建多数人类偏好的社会机制。在一项在线投资游戏中，AI设计的机制通过减少财富不平等和制裁搭便车者，优于人类设计的机制，在多数偏好测试中赢得了60%的选票。

ABSTRACT

Building artificial intelligence (AI) that aligns with human values is an unsolved problem. Here, we developed a human-in-the-loop research pipeline called Democratic AI, in which reinforcement learning is used to design a social mechanism that humans prefer by majority. A large group of humans played an online investment game that involved deciding whether to keep a monetary endowment or to share it with others for collective benefit. Shared revenue was returned to players under two different redistribution mechanisms, one designed by the AI and the other by humans. The AI discovered a mechanism that redressed initial wealth imbalance, sanctioned free riders, and successfully won the majority vote. By optimizing for human preferences, Democratic AI may be a promising method for value-aligned policy innovation.

研究动机与目标

• 通过以人为本的机制设计方法，解决AI与人类价值观对齐的挑战。
• 开发一个可扩展的流程，使人类偏好直接塑造AI生成的政策机制。
• 测试AI是否能在现实世界的社会偏好情境中超越人类设计的机制。
• 探索AI作为集体决策中价值对齐政策创新工具的潜力。

提出的方法

• 开展了一项大规模在线投资游戏，让人类参与者评估共享货币资产的机制。
• 比较了两种再分配机制：一种由人类设计，另一种由AI使用强化学习生成。
• AI通过从重复试验中多数投票结果提取的奖励信号，优化人类偏好。
• 强化学习智能体通过与人类参与者的迭代互动，学习在公平性、效率和搭便车者威慑之间取得平衡。
• 人机协同反馈回路使AI能够基于实时偏好数据调整机制。
• 最终机制通过多数票决方式评估，以确定人类在AI设计与人类设计选项之间的偏好。

实验结果

研究问题

• RQ1 AI系统能否学会设计出被人类多数人偏好的社会机制？
• RQ2 在公平性和效率方面，AI生成的机制与人类设计的机制相比如何？
• RQ3 在集体情境中，再分配机制的哪些具体特征会导致更高的社会偏好？
• RQ4 强化学习能否有效优化社会机制中复杂、多维的人类价值观？

主要发现

• 在直接偏好比较中，AI设计的机制以60%的得票率赢得多数票。
• AI机制通过有针对性的再分配，成功减少了初始财富差距。
• 该机制包含有效制裁搭便车者的功能，从而提高了整体合作水平。
• 与人类设计的替代方案相比，AI生成的机制在感知公平性和集体收益方面表现更优。