[논문 리뷰] Human-centered mechanism design with Democratic AI

Raphaël Koster, Jan Balaguer외 9명|arXiv (Cornell University)|2022. 01. 27.

Experimental Behavioral Economics Studies인용 수 5

한 줄 요약

이 논문은 인간이 참여하는 루프 기반 메커니즘 설계 프레임워크인 디모크라틱 AI를 소개한다. 이는 강화학습을 활용해 인간 다수의 선호도를 반영한 사회적 메커니즘을 설계한다. 온라인 투자 게임에서 AI가 설계한 메커니즘이 빈곤 격차를 줄이고 게임 이탈자(무임승차자)를 제재함으로써 인간이 설계한 메커니즘을 능가했으며, 다수 선호도 테스트에서 60%의 득표를 기록했다.

ABSTRACT

Building artificial intelligence (AI) that aligns with human values is an unsolved problem. Here, we developed a human-in-the-loop research pipeline called Democratic AI, in which reinforcement learning is used to design a social mechanism that humans prefer by majority. A large group of humans played an online investment game that involved deciding whether to keep a monetary endowment or to share it with others for collective benefit. Shared revenue was returned to players under two different redistribution mechanisms, one designed by the AI and the other by humans. The AI discovered a mechanism that redressed initial wealth imbalance, sanctioned free riders, and successfully won the majority vote. By optimizing for human preferences, Democratic AI may be a promising method for value-aligned policy innovation.

연구 동기 및 목표

• 인간 중심의 메커니즘 설계 접근법을 통해 AI를 인간의 가치와 일치시키는 도전 과제를 해결하기 위해.
• 인간의 선호도가 직접적으로 AI가 생성한 정책 메커니즘을 형성하는 가용성 있는 파ip라인을 개발하기 위해.
• 실생활 사회적 선호 설정에서 AI가 인간이 설계한 메커니즘을 능가할 수 있는지 테스트하기 위해.
• 집단 의사결정에서 가치 기반 정책 혁신 도구로 AI의 잠재력을 탐색하기 위해.

제안 방법

• 참가자들이 참여한 대규모 온라인 투자 게임을 통해 금전적 자산 배분을 위한 메커니즘을 평가하였다.
• 두 가지 재분배 메커니즘을 비교하였다: 인간이 설계한 것과 강화학습을 사용해 생성한 AI의 것.
• AI는 반복적인 시험에서 다수 투표 결과를 바탕으로 유도된 보상 신호를 사용해 인간 선호도를 최적화하였다.
• 강화학습 에이전트는 인간 참가자들과의 반복적 상호작용을 통해 공정성, 효율성, 무임승차자 억제를 균형 있게 조정하는 법을 학습하였다.
• 인간이 참여하는 피드백 루프를 통해 AI는 실시간 선호도 데이터를 기반으로 메커니즘을 적응시킬 수 있었다.
• 최종 메커니즘은 인간의 선호도를 결정하기 위해 다수 투표를 통해 AI가 설계한 것과 인간이 설계한 것 간의 직접 비교 평가를 받았다.

실험 결과

연구 질문

• RQ1 AI 시스템은 인간 다수의 선호도를 반영한 사회적 메커니즘을 설계할 수 있는가?
• RQ2 정의와 효율성 측면에서 AI가 생성한 메커니즘과 인간이 설계한 메커니즘 간의 비교는 어떠한가?
• RQ3 집단 설정에서 높은 인간 선호도를 이끌어내는 재분배 메커니즘의 특정 특징는 무엇인가?
• RQ4 강화학습은 사회적 메커니즘에서 인간 가치의 복잡한 다차원적 특성을 효과적으로 최적화할 수 있는가?

주요 결과

• AI가 설계한 메커니즘이 직접적인 선호도 비교에서 인간이 설계한 메커니즘에 비해 다수 투표(60%)를 확보했다.
• AI 메커니즘은 타겟팅된 재분배를 통해 초기 재정 격차를 성공적으로 줄였다.
• 메커니즘은 효과적으로 무임승차자를 제재하는 기능을 포함하여 전체 협력 수준을 높였다.
• AI가 생성한 메커니즘은 인간이 설계한 대비 더 높은 공정성 인식과 집단적 복지를 달성했다.