[논문 리뷰] A game-theoretic model and best-response learning method for ad hoc coordination in multiagent systems

Stefano V. Albrecht, Subramanian Ramamoorthy|arXiv (Cornell University)|2013. 05. 06.

Reinforcement Learning in Robotics참고 문헌 6인용 수 69

한 줄 요약

이 논문은 사용자가 정의한 유형을 통해 에이전트 행동을 표현하는 스토케스틱 베이지안 게임을 사용하여 다중에이전트 광범위한 협업을 모델링하는 게임이론적 프레임워크인 Harsanyi-Bellman Ad Hoc Coordination(HBA)를 제안한다. HBA는 시뮬레이션된 포식 및 인간-기계 실험 모두에서 보다 뛰어난 성능을 달성하여, 최소한의 유형 정의로도 복잡한 환경에서 복지 수준과 승리 확률을 높였다.

ABSTRACT

The ad hoc coordination problem is to design an ad hoc agent which is able to achieve optimal flexibility and efficiency in a multiagent system that admits no prior coordination between the ad hoc agent and the other agents. We conceptualise this problem formally as a stochastic Bayesian game in which the behaviour of a player is determined by its type. Based on this model, we derive a solution, called Harsanyi-Bellman Ad Hoc Coordination (HBA), which utilises a set of user-defined types to characterise players based on their observed behaviours. We evaluate HBA in the level-based foraging domain, showing that it outperforms several alternative algorithms using just a few user-defined types. We also report on a human-machine experiment in which the humans played Prisoner's Dilemma and Rock-Paper-Scissors against HBA and alternative algorithms. The results show that HBA achieved equal efficiency but a significantly higher welfare and winning rate.

연구 동기 및 목표

• 사전 협업이 불가능한 다중에이전트 시스템에서의 광범위한 협업 문제를 해결한다.
• 관찰된 행동 기반으로 타입을 사용한 스토케스틱 베이지안 게임 모델을 통해 에이전트 행동을 공식화한다.
• 다양하고 협업하지 않는 에이전트에 적응할 수 있도록 확장 가능한 학습 방법을 설계한다.
• 합성 환경과 인간-중심 실험을 통해 HBA의 강인성과 성능을 평가한다.
• 소규모 사용자 정의 유형 집합으로도 복잡한 환경에서 높은 협업 효율성과 복지 수준을 달성할 수 있음을 입증한다.

제안 방법

• 에이전트 유형이 행동 전략을 나타내는 스토케스틱 베이지안 게임으로 광범위한 협업 문제를 모델링한다.
• 다른 에이전트의 관찰된 행동을 특징짓기 위해 사용자가 지정한 유형의 집합을 정의하여 유형 추론을 가능하게 한다.
• Harsanyi-신뢰 업데이트를 적용하여 관찰 기반으로 각 에이전트 유형의 사후 확률을 추정한다.
• 추정된 유형을 바탕으로 기대 효용을 최대화하는 행동을 선택하기 위해 최적 반응 학습 메커니즘을 사용한다.
• 지속적으로 신뢰를 업데이트하고 실시간으로 전략을 적응시키는 의사결정 루프에 HBA를 통합한다.
• 다른 에이전트의 유형에 대한 불확실성 하에서 최적의 행동 시퀀스를 계산하기 위해 벨먼 최적성 방정식을 활용한다.

실험 결과

연구 질문

• RQ1 소규모 사용자 정의 유형 집합이 광범위한 협업 환경에서 다양한 에이전트 행동을 효과적으로 모델링할 수 있는가?
• RQ2 구조화된 다중에이전트 환경에서 HBA는 기존 알고리즘 대비 협업 효율성과 복지 수준에서 어떻게 비교되는가?
• RQ3 HBA는 다른 에이전트와의 사전 협업이나 지식 없이도 높은 성능을 달성할 수 있는가?
• RQ4 HBA는 프리즌어스 딜레마와 바위-보자기-보와 같은 전략적 게임을 포함한 인간-중심 환경에서 어떻게 성능을 발휘하는가?
• RQ5 HBA는 다양한 행동 다양성과 불확실성 수준에서도 강력한 성능을 유지하는가?

주요 결과

• HBA는 몇 개의 사용자 정의 유형만으로도 레벨 기반 포식 환경에서 여러 대안 알고리즘보다 뛰어난 성능을 보였다.
• 인간-기계 실험에서 HBA는 기준 알고리즘과 동일한 효율성을 달성했지만, 복지 수준과 승리 확률에서 뚜렷이 높은 성능을 보였다.
• HBA는 프리즌어스 딜레마와 바위-보자기-보에서 뛰어난 성능을 보이며 전략적이고 비협력적인 환경에 적응 가능함을 입증했다.
• 소규모 사용자 정의 유형의 사용이 다른 에이전트 행동의 효과적 추론과 최적 반응 선택을 가능하게 했다.
• HBA는 사전 협업 없이도 높은 협업 품질을 달성하여 실세계 다중에이전트 시스템에 적합함을 확인했다.
• 다양한 행동 유형에 걸쳐 높은 성능를 유지함으로써 확장성과 일반화 능력을 보여주었다.