[논문 리뷰] On Convergence and Optimality of Best-Response Learning with Policy Types in Multiagent Systems

Stefano V. Albrecht, Subramanian Ramamoorthy|arXiv (Cornell University)|2019. 07. 15.

Reinforcement Learning in Robotics참고 문헌 18인용 수 17

한 줄 요약

이 논문은 사용자가 정의한 정책 유형을 사용하여 다중 에이전트 시스템에서 최적 반응 학습의 이론적 기초를 제공한다. 새로운 사후 분포를 제안하여 상관관계가 있는 유형 분포로 수렴시키며, 확률적 바이심일로 기반한 최적성 기준을 도입하여 유형 공간 검증을 위한 효율적인 모델 체킹을 가능하게 하여 HBA의 수렴성과 작업 해결 성능을 향상시킨다.

ABSTRACT

While many multiagent algorithms are designed for homogeneous systems (i.e. all agents are identical), there are important applications which require an agent to coordinate its actions without knowing a priori how the other agents behave. One method to make this problem feasible is to assume that the other agents draw their latent policy (or type) from a specific set, and that a domain expert could provide a specification of this set, albeit only a partially correct one. Algorithms have been proposed by several researchers to compute posterior beliefs over such policy libraries, which can then be used to determine optimal actions. In this paper, we provide theoretical guidance on two central design parameters of this method: Firstly, it is important that the user choose a posterior which can learn the true distribution of latent types, as otherwise suboptimal actions may be chosen. We analyse convergence properties of two existing posterior formulations and propose a new posterior which can learn correlated distributions. Secondly, since the types are provided by an expert, they may be inaccurate in the sense that they do not predict the agents' observed actions. We provide a novel characterisation of optimality which allows experts to use efficient model checking algorithms to verify optimality of types.

연구 동기 및 목표

• 다중 에이전트 시스템에서 정책 유형을 사용한 최적 반응 학습을 위한 사후 형식화 선택에 있어 이론적 지침의 부족 문제를 해결하기 위해.
• HBA가 잠재된 에이전트 유형의 진짜 분포로 수렴할 수 있는 조건를 분석하기 위해.
• 사용자가 제공한 정책 유형의 최적성에 대한 공식적이고 검증 가능한 기준을 개발하여 작업 수행 보장을 위해.
• 모델 체킹 알고리즘을 활용한 효율적인 유형 공간 품질 검증을 가능하게 하기 위해.
• 알 수 없거나 이질적인 에이전트 행동을 포함한 실제 응용에서 HBA의 강건성과 신뢰성을 향상시키기 위해.

제안 방법

• 상관관계가 있는 유형 분포를 학습할 수 있는 새로운 사후 형식화를 제안하여 기존 방법 대비 수렴 성능을 향상시킨다.
• 정책 유형의 최적성을 특징짓는 공식 기준으로서 확률적 바이심일을 채택한다.
• 효율적인 모델 체킹 알고리즘을 활용해 유형 공간 최적성 검증을 위한 방법론을 도입한다.
• 이론적 점근 조건 하에서 두 개의 기존 사후 형식화의 수렴 성질을 분석한다.
• 관측된 행동에서 유한한 수의 사용자 정의 정책 유형에 대한 베이지안 업데이트를 통해 사후 믿음을 계산한다.
• 벨먼 최적성과 베이지안 내쉬 균형 개념을 조합하여 행동 선택을 위한 기대 수익을 계산한다.

실험 결과

연구 질문

• RQ1 정책 유형을 사용한 최적 반응 학습이 잠재된 에이전트 유형의 진짜 분포로 수렴하는 조건는 무엇인가?
• RQ2 유형 간 상관관계가 존재할 경우에도 수렴을 보장할 수 있도록 사후 형식화를 어떻게 설계할 수 있는가?
• RQ3 HBA에서 작업 수행을 보장하는 최적의 정책 유형 공간을 정의하는 기준은 무엇인가?
• RQ4 공식적 방법을 사용해 주어진 유형 공간의 최적성을 효율적으로 검증할 수 있는가?
• RQ5 사용자가 제공한 유형의 부정확성이 HBA의 성능과 수렴성에 어떤 영향을 미치는가?

주요 결과

• 제안된 사후 형식화는 이전 방법이 독립성을 가정하는 것과 달리 상관관계가 있는 유형 분포를 학습할 수 있다.
• 기존 사후의 수렴성은 특정 조건 하에서 입증되었지만, 유일하게 새로운 사후만 상관관계가 있는 유형에 대해 수렴을 보장한다.
• 확률적 바이심일은 유형 공간 최적성에 대한 공식적이고 검증 가능한 기준을 제공하며, 효율적인 모델 체킹을 가능하게 한다.
• 이론적 분석 결과, 진짜 유형 공간이 사용자 정의 유형 공간의 확률적 바이심일일 경우, HBA는 동일한 확률로 작업 종료를 달성한다.
• 이 방법을 통해 사용자는 기존의 효율적인 확률적 바이심일 검증 알고리즘을 활용해 유형 공간 품질을 검증할 수 있다.
• 결과적으로, 사후 선택과 유형 공간 검증을 위한 공식적 기반을 제공하여, 알 수 없는 다중 에이전트 환경에서 HBA의 신뢰성을 향상시킨다.