[논문 리뷰] Any-Play: An Intrinsic Augmentation for Zero-Shot Coordination

Keane Lucas, Ross Allen|arXiv (Cornell University)|2022. 01. 28.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 논문은 자기연결 학습된 에이전트가 알고리즘적으로 다를 수 있는 다양한 비동일한 에이전트와의 제로샷 조율을 가능하게 하는 내재 보상 기반 증강 기법인 Any-Play을 소개한다. 훈련 중 행동의 다양성을 촉진함으로써 Any-Play는 한바이(한비)에서 제로샷 조율 성능을 크게 향상시켜 이전까지는 알고리즘적으로 다를 수 있는 에이전트 간 일반화가 달성되지 않았던 상태의 최고 성능을 달성한다.

ABSTRACT

Cooperative artificial intelligence with human or superhuman proficiency in collaborative tasks stands at the frontier of machine learning research. Prior work has tended to evaluate cooperative AI performance under the restrictive paradigms of self-play (teams composed of agents trained together) and cross-play (teams of agents trained independently but using the same algorithm). Recent work has indicated that AI optimized for these narrow settings may make for undesirable collaborators in the real-world. We formalize an alternative criteria for evaluating cooperative AI, referred to as inter-algorithm cross-play, where agents are evaluated on teaming performance with all other agents within an experiment pool with no assumption of algorithmic similarities between agents. We show that existing state-of-the-art cooperative AI algorithms, such as Other-Play and Off-Belief Learning, under-perform in this paradigm. We propose the Any-Play learning augmentation -- a multi-agent extension of diversity-based intrinsic rewards for zero-shot coordination (ZSC) -- for generalizing self-play-based algorithms to the inter-algorithm cross-play setting. We apply the Any-Play learning augmentation to the Simplified Action Decoder (SAD) and demonstrate state-of-the-art performance in the collaborative card game Hanabi.

연구 동기 및 목표

• 다른 알고리즘으로 훈련된 에이전트와 협업할 경우 성능이 저하되는 기존 협동 AI 방법의 한계를 해결하기 위해.
• 에이전트가 알고리즘적 유사성과 관계없이 풀 내의 모든 다른 에이전트와 테스트되는 새로운 평가 패러다임—알고리즘 간 교차 테스트(inter-algorithm cross-play)를 체계화하기 위해.
• 자기연결 기반 에이전트가 더 넓은 환경에서 강력한 제로샷 조율 성능을 달성할 수 있도록 일반 목적의 증강 기법을 개발하기 위해.
• 어려운 협동 환경인 카드 게임 한비(Hanabi)에서 이 방법의 효과성을 입증하기 위해.

제안 방법

• Any-Play 방법은 자기연결 훈련 중에 에이전트가 다양한 행동을 탐색하도록 유도하는 다에이전트 내재 보상을 도입한다.
• 내재 보상은 에이전트 팀 내 행동 또는 정책의 임베딩 유사도를 기반으로 행동 다양성을 측정하여 계산된다.
• 이 보상은 Simplified Action Decoder(SAD)와 같은 자기연결 알고리즘의 훈련 목표에 통합되어, 중복되지 않는 전략 탐색을 촉진한다.
• 이 방법은 알고리즘적으로 다른 알고리즘으로 훈련된 동료와도 강건하고 일반화 가능한 정책을 학습하도록 한다.
• 기존의 내재 보상 프레임워크를 다에이전트 환경으로 확장하여 상호에이전트 간 조율 다양성에 초점을 맞춘다.
• 기본 알고리즘의 아키텍처 변경 없이도 적용 가능하므로, 기존 자기연결 방법에 즉각 통합 가능한 플러그인 증강 기법이다.

실험 결과

연구 질문

• RQ1 다른 알고리즘으로 훈련된 에이전트와 조율할 때 자기연결 기반 에이전트가 강력한 제로샷 조율 성능을 달성할 수 있는가?
• RQ2 훈련 중 행동 다양성이 알고리즘적으로 다를 수 있는 새로운 동료와의 일반화에 어떤 영향을 미치는가?
• RQ3 기본 자기연결 및 다른 내재 보상 기반 기준 대비 Any-Play 내재 보상이 조율 성능 향상에 얼마나 기여하는가?
• RQ4 Any-Play가 한비와 같은 제로샷 조율 과제에서 최고 성능을 달성할 수 있는가?
• RQ5 기본 알고리즘 아키텍처 변경 없이도 Any-Play가 기존 자기연결 알고리즘에 효과적으로 적용될 수 있는가?

주요 결과

• Any-Play는 알고리즘 간 교차 테스트에서 제로샷 조율 성능을 크게 향상시켜 Other-Play나 Off-Belief Learning과 같은 기준 기반 방법을 뛰어넘는다.
• Simplified Action Decoder(SAD)에 적용했을 때 Any-Play는 제로샷 조율 설정에서 한비에서 최고 성능을 달성한다.
• Any-Play로 훈련된 에이전트는 훈련 중에 명시적으로 모델링되지 않은 알고리즘으로 훈련된 동료와도 강력한 일반화 성능을 보인다.
• 내재된 다양성 보상은 다양한 동료 조합에서의 팀 점수 향상으로 입증되며, 더 효과적이고 다양한 조율 전략을 유도한다.
• 기본 학습 알고리즘의 변경 없이도 성능 향상을 유지함으로써, 이 방법의 모ularity와 광범위한 적용 가능성을 확인한다.
• 실험 결과 Any-Play를 통해 SAD는 다양한 동료와 조율할 때 near-optimal 성능에 도달함을 확인하여, 실제 협동 시나리오에서의 효과성을 검증한다.