[논문 리뷰] Learning Conventions in Multiagent Stochastic Domains using Likelihood Estimates

Craig Boutilier|arXiv (Cornell University)|2013. 02. 13.

Game Theory and Applications참고 문헌 17인용 수 25

한 줄 요약

이 논문은 행동이 관찰되지 않는 다중에이전트 스토케스틱 시스템에서 베이지안 학습 접근법을 제안하며, 가능도 추정을 사용하여 허구적 플레이를 일반화하고 전통적인 균형에 수렴한다. 최대 가능도를 적용하여 부적절한 전략을 제거함으로써 직접 행동 관찰 없이도 협력이 가능해지며, 비대칭적 행동 실패가 있는 협력적 환경에서 수렴성을 향상시킨다.

ABSTRACT

Fully cooperative multiagent systems - those in which agents share a joint utility model- is of special interest in AI. A key problem is that of ensuring that the actions of individual agents are coordinated, especially in settings where the agents are autonomous decision makers. We investigate approaches to learning coordinated strategies in stochastic domains where an agent's actions are not directly observable by others. Much recent work in game theory has adopted a Bayesian learning perspective to the more general problem of equilibrium selection, but tends to assume that actions can be observed. We discuss the special problems that arise when actions are not observable, including effects on rates of convergence, and the effect of action failure probabilities and asymmetries. We also use likelihood estimates as a means of generalizing fictitious play learning models in our setting. Finally, we propose the use of maximum likelihood as a means of removing strategies from consideration, with the aim of convergence to a conventional equilibrium, at which point learning and deliberation can cease.

연구 동기 및 목표

• 에이전트가 서로의 행동을 직접 관찰할 수 없는 완전히 협력적인 다중에이전트 시스템에서의 협력을 다루는 것.
• 스토케스틱 도메인에서 행동이 관찰 가능하다는 가정을 하는 기존의 베이지안 학습 모델의 한계를 극복하는 것.
• 관찰되지 않는 행동 설정을 위한 가능도 기반 학습 메커니즘을 개발하는 것.
• 최대 가능도를 사용하여 반복적으로 부적절한 전략을 제거하고 전통적인 균형으로의 수렴을 가속화하는 것.
• 행동 실패 확률과 비대칭성이 관찰되지 않는 설정에서 학습 수렴에 미치는 영향을 분석하는 것.

제안 방법

• 방법은 직접 행동 관찰이 아닌 관측된 결과를 바탕으로 전략 사용 확률을 추정하는 가능도 추정을 사용한다.
• 직접 관측된 행동의 빈도 수를 사용하는 대신 가능도 기반 신뢰도 갱신을 통합함으로써 허구적 플레이를 확장한다.
• 관측된 결과에 기반해 통계적으로 불가능한 전략을 평가하고 제거하기 위해 최대 가능도 추정을 사용한다.
• 행동이 실패하거나 관찰되지 않을 수 있는 확률적 과정으로 에이전트 행동을 모델링하며, 이를 바탕으로 신뢰도를 조정한다.
• 결과 관측치와 전략 프로파일의 가능도를 결합하는 믿음 갱신 메커니즘이 시간이 지남에 따라 에이전트의 기대를 정교화한다.
• 학습 과정은 전통적인 균형에 도달할 때까지 계속되며, 그 시점에 의사결정이 중단된다.

실험 결과

연구 질문

• RQ1 행동이 직접 관찰되지 않는 스토케스틱 다중에이전트 시스템에서 에이전트는 어떻게 협력 전략을 학습할 수 있는가?
• RQ2 관찰되지 않는 설정에서 행동 실패 확률과 비대칭성은 수렴 속도에 어떤 영향을 미치는가?
• RQ3 관찰되지 않는 도메인에서 가능도 기반 신뢰도 갱신이 표준 허구적 플레이보다 수렴을 향상시킬 수 있는가?
• RQ4 최대 가능도를 얼마나 잘 활용하여 부적절한 전략을 제거하고 균형 수렴을 가속화할 수 있는가?
• RQ5 불완전한 타 에이전트 행동 정보를 가진 완전히 협력적인 시스템에서 제안된 방법은 어떻게 협력을 유지하는가?

주요 결과

• 가능도 기반 접근법은 기존의 허구적 플레이가 실패하는 관찰되지 않는 다중에이전트 스토케스틱 도메인에서 효과적인 협력을 가능하게 한다.
• 최대 가능도 제거로 후보 전략 수가 크게 감소하여 전통적인 균형으로의 수렴 속도가 가속화된다.
• 특히 비대칭적 행동 실패 확률 하에서 표준 허구적 플레이보다 더 빠른 수렴 속도를 보인다.
• 관측되지 않는 행동이 있더라도 결과의 가능도를 활용하여 전략 사용을 추론함으로써 안정적인 협력을 달성한다.
• 실패 확률을 가능도 추정에 통합함으로써 스토케스틱 행동 실패를 효과적으로 처리한다.
• 전통적인 균형에서 수렴이 이루어지므로 학습과 사고 과정이 효율적으로 종료된다.