[논문 리뷰] Multiagent Evaluation under Incomplete Information

Mark Rowland, Shayegan Omidshafiei외 5명|arXiv (Cornell University)|2019. 09. 21.

Sports Analytics and Performance인용 수 21

한 줄 요약

이 논문은 노이즈가 있는, 완전하지 않은 지ay 데이터를 가진 일반합, 다수 플레이어 게임에서 다중 에이전트 시스템을 위한 적응형이고 불확실성 인식 평가 방법을 제안한다. 표본 복잡도 보장을 도입하고, $α$-Rank를 사용하여 지ay에서의 순위로의 불확실성 전파를 가능하게 하여 현실적인 시뮬레이션 제약 조건 하에서도 신뢰할 수 있는 에이전트 순위를 제공한다.

ABSTRACT

This paper investigates the evaluation of learned multiagent strategies in the incomplete information setting, which plays a critical role in ranking and training of agents. Traditionally, researchers have relied on Elo ratings for this purpose, with recent works also using methods based on Nash equilibria. Unfortunately, Elo is unable to handle intransitive agent interactions, and other techniques are restricted to zero-sum, two-player settings or are limited by the fact that the Nash equilibrium is intractable to compute. Recently, a ranking method called α-Rank, relying on a new graph-based game-theoretic solution concept, was shown to tractably apply to general games. However, evaluations based on Elo or α-Rank typically assume noise-free game outcomes, despite the data often being collected from noisy simulations, making this assumption unrealistic in practice. This paper investigates multiagent evaluation in the incomplete information regime, involving general-sum many-player games with noisy outcomes. We derive sample complexity guarantees required to confidently rank agents in this setting. We propose adaptive algorithms for accurate ranking, provide correctness and sample complexity guarantees, then introduce a means of connecting uncertainties in noisy match outcomes to uncertainties in rankings. We evaluate the performance of these approaches in several domains, including Bernoulli games, a soccer meta-game, and Kuhn poker.

연구 동기 및 목표

• 일반합, 다수 플레이어 게임에서 노이즈가 있고 완전하지 않은 지ay 데이터를 가진 다중 에이전트 전략에 대한 원칙적인 평가 방법의 부족을 해결한다.
• 노이즈 없는 또는 제로섬 설정을 가정하는 전통적 방법(예: 엘로와 나시 평균화)의 한계를 극복한다.
• 정보가 불완전한 조건에서 신뢰할 수 있는 에이전트 순위를 확보하기 위한 이론적 표본 복잡도 보장을 제공한다.
• 불확실성 감소를 위해 상호작용을 효율적으로 할당하는 적응형 표본 추출 알고리즘을 개발한다.
• 관측된 지야의 불확실성과 최종 에이전트 순위의 불확실성 간의 연결을 통해 강건한 의사결정을 가능하게 한다.

제안 방법

• $α$-Rank를 일반합 게임에서의 순위 매기기의 핵심 메커니즘으로 활용하여, 비가역적 상호작용을 다룰 수 있는 타당성과 유연성을 확보한다.
• 지야 불확실성이 있는 다중 팔 랜드마크 문제로 평가 문제를 재구성하고, 신뢰 구간을 사용해 적응형 표본 추출을 이끌어낸다.
• 게임의 대칭성을 활용해 필요한 상호작용 수를 줄이는 ResponseGraphUCB라는 적응형 표본 추출 알고리즘을 도입한다.
• 유한한 상호작용 수로 노이즈 조건 하에서도 높은 신뢰도의 순위를 확보하기 위한 이론적 표본 복잡도 한계를 유도한다.
• 확률 모델링과 부분 순위에 대한 켄달 거리(의)를 사용해 관측된 지야에서 순위로의 불확실성 전파를 수행한다.
• 다른 접근법과의 비교를 위해 지료, 로짓, 옹스 행렬에 대한 행렬 완성 기법을 기준선으로 사용한다.

실험 결과

연구 질문

• RQ1 일반합, 다수 플레이어 게임에서 노이즈 있는 지야를 가진 상황에서 에이전트를 신뢰할 만하게 순위 매기기 위해 필요한 최소 상호작용 수는 얼마인가?
• RQ2 적응형 표본 추출 전략은 불확실성 하에서 신뢰할 수 있는 순위를 확보하기 위해 필요한 상호작용 수를 어떻게 줄일 수 있는가?
• RQ3 관측된 지야의 불확실성은 최종 에이전트 순위의 불확실성으로 얼마나 잘 전파될 수 있는가?
• RQ4 노이즈가 많고 희소한 데이터에서 순위를 복원하기 위해, 지료, 로짓, 옹스 행렬에 대한 다양한 행렬 완성 기법은 어떻게 비교되는가?
• RQ5 게임의 구조적 대칭성은 평가의 효율성과 정확도 향상에 어떻게 기여할 수 있는가?

주요 결과

• 제안된 적응형 표본 추출 알고리즘(ResponseGraphUCB)은 대칭적인 두 플레이어 게임에서 단 20개의 샘플로도 정확한 순위를 도출했으며, 비대칭 기준선보다 뚜렷하게 뛰어난 성능을 보였다.
• 표본 복잡도 보장을 도출하여, 노이즈 조건 하에서도 유한한 상호작용 수로 높은 신뢰도의 순위를 확보할 수 있음을 입증했다.
• 지야의 불확실성이 순위로 성공적으로 전파되었으며, 축구 메타게임의 경우(그림 1b) 순위 가중치에 대한 신뢰구간이 명확하게 시각화되었다.
• 축구 메타게임에서 로짓 행렬에 대한 행렬 완성 기법이 테스트된 접근법들(지료, 로짓, 옹스) 중에서 가장 낮은 순위 오차(Kendall’s distance)를 기록했다.
• 대칭성을 활용하는 ResponseGraphUCB의 변형은 비대칭성을 고려하지 않은 버전보다 더 빠른 수렴을 보였으며, 구조적 가정의 이점이 입증되었다.
• 전략 프로파일의 완전한 커버리지가 가능한 경우, 밴딧 기반 접근법이 행렬 완성보다 뛰어난 성능을 보였고, 반면 희소한 데이터에서는 행렬 완성이 더 적합한 것으로 나타났다.