[논문 리뷰] Generating and Adapting to Diverse Ad-Hoc Cooperation Agents in Hanabi

Rodrigo Canaan, Xianbo Gao외 3명|arXiv (Cornell University)|2020. 04. 28.

Artificial Intelligence in Games참고 문헌 27인용 수 9

한 줄 요약

이 논문은 MAP-Elites를 통해 생성된 행동적으로 다양한 규칙 기반 에이전트를 활용하여 파트너 정책에 대한 가설의 믿음 분포를 유지함으로써, 알 수 없는 다채로운 협력적 파트너에게 적응하는 베이지안 메타에이전트를 소개한다. 적응형 에이전트는 분포 내에서 비적응형 일반화 기반선보다 우수한 성능을 보이며, 관찰된 행동에 기반한 베이지안 추론을 통해 동적으로 응답 정책을 선택함으로써 짧은 10게임 에피소드 내에서 향상된 점수를 달성한다.

ABSTRACT

Hanabi is a cooperative game that brings the problem of modeling other players to the forefront. In this game, coordinated groups of players can leverage pre-established conventions to great effect, but playing in an ad-hoc setting requires agents to adapt to its partner's strategies with no previous coordination. Evaluating an agent in this setting requires a diverse population of potential partners, but so far, the behavioral diversity of agents has not been considered in a systematic way. This paper proposes Quality Diversity algorithms as a promising class of algorithms to generate diverse populations for this purpose, and generates a population of diverse Hanabi agents using MAP-Elites. We also postulate that agents can benefit from a diverse population during training and implement a simple "meta-strategy" for adapting to an agent's perceived behavioral niche. We show this meta-strategy can work better than generalist strategies even outside the population it was trained with if its partner's behavioral niche can be correctly inferred, but in practice a partner's behavior depends and interferes with the meta-agent's own behavior, suggesting an avenue for future research in characterizing another agent's behavior during gameplay.

연구 동기 및 목표

• 알 수 없는, 비협조적인 파트너와 함께 효과적으로 작동할 수 있는 적응형 에이전트를 개발하는 것.
• 인간 플레이와 호환되는 짧은 상호작용 창 내에서 실시간 적응을 가능하게 하는 것.
• 다양하고 사전 훈련된 규칙 기반 정책의 믿음 분포를 사용하여 파트너 행동을 모델링하는 것.
• 분포 내 및 분포 외 설정 모두에서 적응 성능을 평가하는 것.
• 효과적인 임시 협력의 메타이성능을 가능하게 하는 행동 다양성의 역할을 탐색하는 것.

제안 방법

• 메타에이전트는 MAP-Elites를 통해 생성된 행동적으로 다양한 규칙 기반 에이전트의 풀을 사용하여 파트너 정책에 대한 초도 가설을 형성한다.
• 응답 정책과 파트너 가설 간의 매치업에서 평균적 소통성과 IPP(정책 간 거리)를 포함한 행동 특징을 수집한다.
• 베이지안 추론 프레임워크는 현재 파트너가 풀 내의 각 가설과 일치할 가능성에 대한 믿음 분포를 유지한다.
• 메타에이전트는 현재 믿음 분포 하에서 기대 보상이 최대가 되는 응답 정책을 선택하여 행동한다.
• 시스템은 10게임 에피소드 동안 적응형 및 비적응형(일반화) 전략 간 성능을 비교하여 평가한다.
• 신뢰도 업데이트를 위해 행동 특징이 상호 독립적이고 정규 분포를 이룬다고 가정한다.

실험 결과

연구 질문

• RQ1 10게임의 짧은 상호작용 창 내에서, 메타에이전트는 알 수 없는 다채로운 협력적 파트너에게 적응할 수 있는가?
• RQ2 분포 내 설정에서, 적응형 메타에이전트의 성능은 비적응형 일반화 기반선보다 어떻게 비교되는가?
• RQ3 가설 풀 내 행동 다양성이 메타에이전트의 파트너 전략 추론 및 응답 능력에 어떤 영향을 미치는가?
• RQ4 훈련 분포 외의 파트너에 대해 평가했을 때 메타에이전트의 성능은 어떠한가?
• RQ5 행동 특징 공간이나 믿음 모델을 정교화함으로써 메타에이전트의 적응 메커니즘을 향상시킬 수 있는가?

주요 결과

• 분포 내 설정에서 세 가지 시나리오 중 두 곳에서 적응형 메타에이전트가 일반화 기반선보다 높은 점수를 기록하여, 10게임 에피소드 내에서 효과적인 적응이 이루어졌음을 입증했다.
• 훈련 및 평가 인구가 동일할 경우 적응형 에이전트가 기반선을 略으로 뛰어넘었으며, 믿음 기반 정책 선택의 성공을 시사한다.
• 분포 외 파트너에 대한 성능은 확실하지 않거나 약간 열 劣하여, 훈련 분포를 초월한 일반화 능력에 한계가 있음을 시사한다.
• 자기 플레이 점수와 쌍방 점수 간 상관관계가 성능 변동성을 감소시켜, 적응 성과의 탐지 가능성을 제한했을 수 있다.
• 메타에이전트는 평균 소통성, IPP 및 매치업 점수의 세 가지 행동 특징만을 사용하여 성능를 유지했다.
• 탐색적 실험 결과, 두 개의 적응형 에이전트 간 상호 적응이 일반화된 응답 방향으로 수렴하는 경향을 보였으며, 이는 안정성은 있으나 동적 상호 적응 능력은 제한됨을 시사한다.