[논문 리뷰] K-level Reasoning for Zero-Shot Coordination in Hanabi

Brandon Cui, Hengyuan Hu외 2명|arXiv (Cornell University)|2022. 07. 14.

Reinforcement Learning in Robotics인용 수 8

한 줄 요약

이 논문은 동기화 k단계 추론(SyKLR)과 새로운 하이브리드 방법인 SyKLRBR를 제안한다. SyKLRBR는 k단계 추론의 모든 수준을 동시에 훈련하고 계층의 최적 반응(best response)을 함께 훈련한다. 이 방법은 수동적인 약속이나 외부 정보에 의존하지 않고도 한바이(Hanabi)에서 최신 기준의 제로샷 협력성과 즉각적인 팀워크 성능을 달성하여 일반화 능력과 인간-AI 협업 능력을 크게 향상시킨다.

ABSTRACT

The standard problem setting in cooperative multi-agent settings is self-play (SP), where the goal is to train a team of agents that works well together. However, optimal SP policies commonly contain arbitrary conventions ("handshakes") and are not compatible with other, independently trained agents or humans. This latter desiderata was recently formalized by Hu et al. 2020 as the zero-shot coordination (ZSC) setting and partially addressed with their Other-Play (OP) algorithm, which showed improved ZSC and human-AI performance in the card game Hanabi. OP assumes access to the symmetries of the environment and prevents agents from breaking these in a mutually incompatible way during training. However, as the authors point out, discovering symmetries for a given environment is a computationally hard problem. Instead, we show that through a simple adaption of k-level reasoning (KLR) Costa Gomes et al. 2006, synchronously training all levels, we can obtain competitive ZSC and ad-hoc teamplay performance in Hanabi, including when paired with a human-like proxy bot. We also introduce a new method, synchronous-k-level reasoning with a best response (SyKLRBR), which further improves performance on our synchronous KLR by co-training a best response.

연구 동기 및 목표

• 사전 소통 없이 독립적으로 훈련된 에이전트나 인간이 협력하는 다중 에이전트 환경에서 제로샷 협력을 달성하는 데 도전하는 것.
• 자기 연습(self-play) 훈련의 한계를 극복하여, 취약하고 약속에 의존하는 정책을 생성하는 것, 이는 외부 에이전트와의 호환성에 문제가 있음.
• 한바이와 같은 대규모 부분관측 가능 협력 문제에 대해 k단계 추론과 같은 인지 계층 모델을 적용하는 것.
• 임의의 의사소통 약속에 대한 의존도를 줄여 광범위한 즉각적인 팀워크 및 인간-AI 협업에서의 견고함을 향상시키는 것.
• 동기화된 계층적 추론 수준 훈련이 순차적 훈련보다 학습 안정성과 성능 향상에 기여하는지 조사하는 것.

제안 방법

• 모든 k단계 추론 에이전트를 순차적으로가 아니라 동시에 훈련하여 실제 시간을 단축하고 과적합 방지 정규화 효과를 얻는 것.
• 전체 k단계 추론 계층에 대한 최적 반응을 함께 훈련하는 하이브리드 방법인 SyKLRBR를 도입하며, 특히 상위 두 수준에 더 높은 가중치를 부여한다.
• 모든 수준이 동시에 업데이트되도록 계층적 훈련 체계를 적용하며, 각 수준-k 에이전트는 다른 에이전트를 수준-(k-1)로 모델링한다.
• 커리큘럼 학습을 적용하여 낮은 수준부터 먼저 훈련하고 점차 높은 수준을 도입하지만, 모든 수준은 동시에 훈련된다.
• 의사소통 약속에 대한 정책 의존도를 평가하기 위해 믿음 모델을 사용하며, 게임 상태에 대한 믿음의 교차 엔트로피를 측정한다.
• 전체 계층에 대한 최적 반응을 훈련하여 최종 테스트 시 정책으로 활용하며, 제로샷 환경에서 실시간 적응이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 복잡한 Dec-POMDP에서 k단계 추론 에이전트의 동기화 훈련이 순차적 훈련보다 성능과 안정성 향상에 기여하는가?
• RQ2 k단계 추론이 한바이와 같은 대규모 부분관측 가능 협력 문제에 효과적으로 스케일링 가능한가?
• RQ3 k단계 계층에 대한 최적 반응을 함께 훈련하면 제로샷 협력 및 즉각적인 팀워크 성능 향상에 기여하는가?
• RQ4 동기화 훈련이 하위 수준 정책에 대한 과적합을 어떻게 줄이고 일반화 능력을 향상시키는가?
• RQ5 기존 최신 기준 접근법에 비해 인간 유사 프록시와의 협업에서 얼마나 향상되었는가?

주요 결과

• SyKLRBR는 자기 연습 점수 21.65±0.21을 기록하여 기존 방법을 능가하는 성능을 보였다.
• 크로스 플레이 평가에서 SyKLRBR는 21.42±0.10을 기록하여 독립적으로 훈련된 에이전트와의 강력한 제로샷 협력 능력을 입증했다.
• 인간 프록시(클론 봇)와의 실험에서 SyKLRBR는 14.59±0.25를 기록하여 한바이에서 인간-AI 협업 분야의 새로운 최신 기준을 수립했다.
• 동기화 훈련은 하위 수준 정책에 대한 과적합을 줄였으며, 중간 스크립트에서 믿음 모델의 교차 엔트로피가 1.70±0.01로 나타나 하위 수준 정책에 대한 과적합이 감소했음을 보여주었다. 최종 정책의 경우 1.58±0.01이었다.
• 최적 반응 구성 요소는 추론 중 실시간 적응이 가능하게 하여 즉각적인 설정에서의 견고함을 향상시켰다.
• 동기화된 인지 계층 훈련(Synchronous CH)은 SyKLRBR보다 성능이 열 劣하므로, 이 설정에서는 KLR에 최적 반응을 통합한 것이 표준 인지 계층 접근법보다 더 효과적임을 시사한다.