[논문 리뷰] Optimal Coordinated Planning Amongst Self-Interested Agents with Private State

Ruggiero Cavallo, David C. Parkes외 1명|arXiv (Cornell University)|2012. 06. 27.

Auction Theory and Applications참고 문헌 15인용 수 42

한 줄 요약

이 논문은 동적이고 불확실한 환경에서 사적 상태를 가진 이기적인 에이전트 간의 최적 공동 계획을 위한 인센티브 호환 메커니즘을 제안한다. 마르코프 결정 과정(Markov decision processes)과 깁티누스 지수(Gittins indices)를 사용하여, 확률적 게임 프레임워크를 통해 최적의 공동 정책을 분산 계산할 수 있게 하며, 마르코프 완전 균형(Markov perfect equilibrium)을 달성하고, 다중 암초 밴드잇(multi-armed bandit) 설정으로 확장된다.

ABSTRACT

Consider a multi-agent system in a dynamic and uncertain environment. Each agent's local decision problem is modeled as a Markov decision process (MDP) and agents must coordinate on a joint action in each period, which provides a reward to each agent and causes local state transitions. A social planner knows the model of every agent's MDP and wants to implement the optimal joint policy, but agents are self-interested and have private local state. We provide an incentive-compatible mechanism for eliciting state information that achieves the optimal joint plan in a Markov perfect equilibrium of the induced stochastic game. In the special case in which local problems are Markov chains and agents compete to take a single action in each period, we leverage Gittins allocation indices to provide an efficient factored algorithm and distribute computation of the optimal policy among the agents. Distributed, optimal coordinated learning in a multi-agent variant of the multi-armed bandit problem is obtained as a special case.

연구 동기 및 목표

• 사적 국소 상태를 가진 이기적인 에이전트 간의 최적 공동 계획을 가능하게 하는 메커니즘을 설계하는 것.
• 인센티브 호환성을 통해 에이전트가 사적 상태를 정직하게 보고하도록 보장하는 것.
• 유도된 확률적 게임의 마르코프 완전 균형에서 최적의 공동 정책을 달성하는 것.
• 국소 문제들이 마르코프 체인인 경우 최적 정책의 효율적이고 인과적 알고리즘을 개발하는 것.
• 다중 에이전트 다중 암초 밴드잇 문제로 프레임워크를 확장하여 분산된 최적의 공동 학습을 가능하게 하는 것.

제안 방법

• 각 에이전트의 국소 결정 문제를 사적 상태를 가진 마르코프 결정 과정(MDP)으로 모델링한다.
• 동적 베이지안 인센티브를 사용하여 정직한 상태 보고를 유도하는 인센티브 호환 메커니즘을 설계한다.
• 특수한 경우인 마르코프 체인의 경우, 공동 문제를 효율적으로 해결하기 위해 깁티누스 할당 지수를 적용한다.
• 상호작용을 모델링하고 마르코프 완전 균형의 존재를 증명하기 위해 확률적 게임 프레임워크를 사용한다.
• 깁티누스 지수를 사용하여 공동 MDP를 인과적으로 분해함으로써 최적 정책의 계산을 에이전트 간에 분산시킨다.
• 다중 에이전트 버전의 다중 암초 밴드잇 문제로 접근법을 확장하여 분산된 최적의 공동 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 사적 상태를 가진 이기적인 에이전트들이 최적의 공동 계획을 위해 국소 상태를 정직하게 보고하도록 유도하는 방법은 무엇인가?
• RQ2 사적 정보가 존재하는 상황에서 최적의 공동 정책이 균형에서 구현되도록 보장하는 메커니즘은 무엇인가?
• RQ3 국소 문제들이 마르코프 체인인 경우, 최적의 공동 정책을 효율적으로 분산 방식으로 계산할 수 있는가?
• RQ4 깁티누스 지수를 어떻게 활용하여 공동 정책의 계산을 분해하고 분산시킬 수 있는가?
• RQ5 이 프레임워크는 다중 에이전트 다중 암초 밴드잇 설정에서 최적의 공동 학습을 지원하는가?

주요 결과

• 제안된 메커니즘은 장기적인 인센티브 호환성을 보장하면서 마르코프 완전 균형에서 최적의 공동 정책을 달성한다.
• 마르코프 체인 모델의 특수한 경우에서, 깁티누스 지수를 사용하여 최적 정책의 효율적이고 인과적인 계산이 가능해진다.
• 프레임워크는 분산 계산을 지원하여 에이전트들이 최적 정책의 각 부분을 독립적으로 계산할 수 있도록 한다.
• 이 접근법은 다중 에이전트 다중 암초 밴드잇 문제로 일반화되어 분산된 최적의 공동 학습을 가능하게 한다.
• 확률적 게임 내에서 철저히 설계된 동적 인센티브를 통해 메커니즘은 사적 상태의 정직한 보고를 보장한다.