[논문 리뷰] Joint Policy Search for Multi-agent Collaboration with Imperfect Information

Yuandong Tian, Qucheng Gong외 1명|arXiv (Cornell University)|2020. 08. 14.

Reinforcement Learning in Robotics인용 수 1

한 줄 요약

이 논문은 완전 정보가 아닌 게임에서 다중 에이전트 협업을 위한 새로운 알고리즘인 공동 정책 탐색(Joint Policy Search, JPS)을 제안한다. JPS는 전역 가치 변화를 국소 정책 업데이트로 분해하기 위해 새로운 개념인 정책 변화 밀도(policy-change density)를 도입한다. JPS는 전체 게임을 다시 평가하지 않고도 반복적으로 공동 정책을 향상시키며, 표 형태 게임에서 이전 방법들을 능가하고, 1,000판의 컨트랙트 브리지에서 판별 단위당 +0.63 IMPs의 성능 향상을 기록하여, 워브리지5(WBridge5)와 같은 챔피언십 수준 소프트웨are를 뛰어넘는다.

ABSTRACT

To learn good joint policies for multi-agent collaboration with imperfect information remains a fundamental challenge. While for two-player zero-sum games, coordinate-ascent approaches (optimizing one agent's policy at a time, e.g., self-play) work with guarantees, in multi-agent cooperative setting they often converge to sub-optimal Nash equilibrium. On the other hand, directly modeling joint policy changes in imperfect information game is nontrivial due to complicated interplay of policies (e.g., upstream updates affect downstream state reachability). In this paper, we show global changes of game values can be decomposed to policy changes localized at each information set, with a novel term named policy-change density. Based on this, we propose Joint Policy Search(JPS) that iteratively improves joint policies of collaborative agents in imperfect information games, without re-evaluating the entire game. On multi-agent collaborative tabular games, JPS is proven to never worsen performance and can improve solutions provided by unilateral approaches (e.g, CFR), outperforming algorithms designed for collaborative policy learning (e.g. BAD). Furthermore, for real-world games, JPS has an online form that naturally links with gradient updates. We test it to Contract Bridge, a 4-player imperfect-information game where a team of $2$ collaborates to compete against the other. In its bidding phase, players bid in turn to find a good contract through a limited information channel. Based on a strong baseline agent that bids competitive bridge purely through domain-agnostic self-play, JPS improves collaboration of team players and outperforms WBridge5, a championship-winning software, by $+0.63$ IMPs (International Matching Points) per board over 1k games, substantially better than previous SoTA ($+0.41$ IMPs/b) under Double-Dummy evaluation.

연구 동기 및 목표

• 완전 정보가 아닌 환경에서 다중 에이전트 협동 설정에서 효과적인 공동 정책를 학습하는 데 도전하는 것.
• CFR 및 BAD와 같은 단일 에이전트 방법이 협동 환경에서 최적화되지 않는 수렴 문제를 해결하는 것.
• 전체 게임 재평가를 피하는 스케일러블하고 반복적인 정책 향상 방법을 개발하는 것.
• 기울기 호환 업데이트와 함께 실시간 학습을 가능하게 하는 것.
• 복잡한 실제 세계의 완전 정보가 아닌 게임, 예를 들어 컨트랙트 브리지에서 뛰어난 성능을 보여주는 것.

제안 방법

• 각 정보 집합에서 전역 게임 가치 변화를 국소 정책 업데이트로 분해하기 위해 정책 변화 밀도(policy-change density)라는 새로운 개념을 도입한다.
• 전체 게임을 다시 평가하지 않고 국소 정책 변화에 집중함으로써 공동 정책을 향상시키는 반복적 알고리즘인 공동 정책 탐색(JPS)을 개발한다.
• 좌표 상승 유사 접근법을 사용하지만, 전역 가치 분해를 통해 단조적 향상을 보장한다.
• 정책 변화와 가치 변화를 연결하는 수학적 프레임워크를 유도하여 안정적이고 효율적인 업데이트를 가능하게 한다.
• 실제 게임 응용을 위한 기울기 기반 업데이트와 호환되는 온라인 형태로 JPS를 변형한다.
• 컨트랙트 브리지에서 성능을 평가하기 위해 더블 듀머리 평가 프레임워크를 활용한다.

실험 결과

연구 질문

• RQ1 완전 정보가 아닌 게임에서 전체 게임 재평가 없이 공동 정책 개선이 가능할 수 있는가?
• RQ2 전역 가치 변화를 국소 정책 업데이트로 분해하면 단조적 성능 향상이 이루어지는가?
• RQ3 JPS는 CFR 및 BAD와 같은 단일 정책 학습 방법보다 협동적 다중 에이전트 환경에서 뛰어난 성능을 보일 수 있는가?
• RQ4 JPS는 컨트랙트 브리지와 같이 복잡한 정보 구조를 가진 실제 게임에 효과적으로 적용될 수 있는가?
• RQ5 JPS는 실제 벤치마크에서 최신 기술(SoTA) 에이전트보다 뛰어난 성능을 달성하는가?

주요 결과

• JPS는 성능을 악화시키지 않으며, 표 형태 다중 에이전트 게임에서 단일 에이전트 방법인 CFR가 생성한 해를 항상 향상시킨다.
• JPS는 표 형태 협동 환경에서 전용 협동 정책 학습 알고리즘인 BAD보다 뛰어난 성능을 보인다.
• 컨트랙트 브리지에서 JPS는 팀 플레이어 간 협업을 향상시켜 1,000판에 걸쳐 판별 단위당 +0.63 IMPs의 성능 향상을 달성한다.
• 이 성능은 더블 듀머리 평가 하에 이전 SoTA인 +0.41 IMPs per board를 뛰어넘는다.
• JPS는 챔피언십 수준의 브리지 소프트웨어인 WBridge5를 능가하여 실제 환경에서의 실용적 우수성을 입증한다.
• JPS의 온라인 변형은 효율적이고 기울기 호환 업데이트를 가능하게 하여 대규모 및 동적 게임 환경에 적합하다.