[논문 리뷰] Multi-Principal Assistance Games: Definition and Collegial Mechanisms

Arnaud Fickinger, Simon Zhuang외 3명|arXiv (Cornell University)|2020. 12. 29.

Experimental Behavioral Economics Studies참고 문헌 31인용 수 4

한 줄 요약

이 논문은 다수의 인간이 서로 다른 선호도를 가진 상황에서 단일 AI 에이전트가 다수의 인간을 지원하는 다중 주체 보조 게임(MPAGs)을 소개한다. 인간의 실제 행동 비용(예: 노력, 시간)을 활용해 정직한 선호도 공개를 유도하는 '공동체적 메커니즘'을 제안함으로써, 지배 전략 인센티브 호환성(dominant-strategy incentive compatibility)을 달성하고 사회선택 이론의 지브라드 불가능성 정리(Gibbard's impossibility theorem)를 우회한다.

ABSTRACT

We introduce the concept of a multi-principal assistance game (MPAG), and circumvent an obstacle in social choice theory, Gibbard's theorem, by using a sufficiently collegial preference inference mechanism. In an MPAG, a single agent assists N human principals who may have widely different preferences. MPAGs generalize assistance games, also known as cooperative inverse reinforcement learning games. We analyze in particular a generalization of apprenticeship learning in which the humans first perform some work to obtain utility and demonstrate their preferences, and then the robot acts to further maximize the sum of human payoffs. We show in this setting that if the game is sufficiently collegial, i.e. if the humans are responsible for obtaining a sufficient fraction of the rewards through their own actions, then their preferences are straightforwardly revealed through their work. This revelation mechanism is non-dictatorial, does not limit the possible outcomes to two alternatives, and is dominant-strategy incentive-compatible.

연구 동기 및 목표

• 다른 선호도를 가진 다수의 인간 주체와의 AI 시스템 일치 문제를 해결한다.
• 단일 주체를 가정하고 전략적 오인 보고에 취약한 전통적 가치 일치 방법의 한계를 극복한다.
• 독재적 제어나 결과 공간의 제약 없이 진정한 선호도 보고를 보장하는 메커니즘을 개발한다.
• 인간의 노력이 독립적으로 효용에 영향을 주는 다인용 환경으로 약자 학습을 일반화하여 선호도 추론을 가능하게 한다.
• 공동체성(collegiality)을 설계 원칙으로 삼아 다중 주체 AI 시스템에서 인센티브 호환 선호도 집계에 대한 이론적 기반을 구축한다.

제안 방법

• N명의 인간 주체를 가진 협력적 역강화학습의 일반화로 다중 주체 보조 게임(MPAG)을 정의한다.
• 인간의 시연이 AI 행동과 무관하게 실제 비용(예: 노력, 시간)을 수반한다는 사실을 활용하는 '공동체적 메커니즘'을 도입한다.
• 선호도 추론 문제를 유한 시간 간격 MDP의 정규화된 이중 문제로 모델링하며, 선호도 불일치에 대한 페널티 항을 포함한 기능 매칭 LfD를 사용한다.
• 사회 복지를 극대화하면서 선호도 일관성을 확보하는 최적화 목표로 설정: $\beta\sum_{s,a,t}\gamma^{t}\rho^{t}_{s,a}\phi(s)^{T}w - \left\|\sum_{s,a,t}\rho^{t}_{s,a}\phi(s) - (N\mathbb{E}[\phi|w] - \sum_{j\neq i}\phi(\tau_{j}))\right\|^{2}$.
• 로봇이 협업할 인간을 선택하고 보상 조건부로 할당하며, 탐색과 이용의 균형을 이루기 위해 정지 기준을 사용하는 협업 메커니즘을 제안한다.
• 순서형 투표 이론의 도구를 사용해 메커니즘의 왜곡을 한계화하며, 단순화된 순차적 모델에서 $\triangle(\mathcal{M}) = O(\sqrt{M\log M})$를 달성한다.

실험 결과

연구 질문

• RQ1 여러 전략적 인간이 AI 보조 환경에서 자신의 선호도를 정직하게 공개하도록 유도할 수 있는 메커니즘이 설계될 수 있는가?
• RQ2 인간의 시범 행동에 수반되는 실제 비용(예: 노력)이 선호도 추론에서의 인센티브 호환성을 확보하는 데 어떻게 활용될 수 있는가?
• RQ3 인간의 행동에 독립적인 비용을 지닌 '공동체성'이 고전적 불가능성 결과(예: 지브라드 정리)를 얼마나 효과적으로 우회할 수 있는가?
• RQ4 선호도 추론과 인간-로봇 공동 행동을 통합한 협업 메커니즘의 渐近 성능(점진적 성능)은 어떠한가?
• RQ5 독재적 또는 이진 결과 제약 없이 효율성(사회 복리 극대화)과 인센티브 호환성을 동시에 달성할 수 있는가?

주요 결과

• 시범 행동의 가중치 $\beta$가 100을 초과할 경우 전략적 시범자들은 정직해지며, 격자 세계 실험에서 사회 복리가 크게 증가한다.
• 공동체적 메커니즘은 지배 전략 인센티브 호환성을 달성하여, 타인의 행동과 무관하게 정직한 보고가 최적의 전략이 된다.
• 기존 사회선택 메커니즘의 제약(결과를 두 가지로 제한하거나 독재적 제어에 의존)을 피함으로써 제약 없는 메커니즘을 실현한다.
• 협업 환경에서 제안된 메커니즘은 $M$이 행동 수일 때 점점 더 작은 왜곡 한계 $O(\sqrt{M\log M})$를 달성한다.
• 모델은 인간이 자신의 시범에 실제 비용(예: 시간, 노력)을 지불할 경우, 전략적 유인 속에서도 그 행동이 선호도의 신뢰할 수 있는 신호가 된다는 것을 보여준다.
• 결과는 공동체성—선호도 신호에 실제 세계의 결과를 통합하는 것—이 다중 주체 시스템에서 인센티브 호환 AI 일치의 견고한 기반으로 작용할 수 있음을 시사한다.