[논문 리뷰] Modelling Bounded Rationality in Multi-Agent Interactions by Generalized Recursive Reasoning

Ying Wen, Yaodong Yang외 2명|arXiv (Cornell University)|2019. 01. 26.

Reinforcement Learning in Robotics참고 문헌 40인용 수 5

한 줄 요약

이 논문은 다중 에이전트 강화 학습에서 제한된 합리성(bounded rationality)을 모델링하기 위해 계층적 사고 수준의 복잡성에서 에이전트가 추론할 수 있도록 하는 새로운 프레임워크인 일반화된 순환 추론(GR2)을 소개한다. GR2는 확률적 그래픽 모델과 소프트 액터-크리틱 알고리즘을 사용하여 정적 점에 수렴하고, 정규형 게임, 협동적 탐색, 케인즈 뷰티 콘테스트에서 최신 기준 성능을 능가한다. 이는 다양한 상대 유형에 효과적으로 대응함으로써 달성된다.

ABSTRACT

Though limited in real-world decision making, most multi-agent reinforcement learning (MARL) models assume perfectly rational agents -- a property hardly met due to individual's cognitive limitation and/or the tractability of the decision problem. In this paper, we introduce generalized recursive reasoning (GR2) as a novel framework to model agents with different \emph{hierarchical} levels of rationality; our framework enables agents to exhibit varying levels of "thinking" ability thereby allowing higher-level agents to best respond to various less sophisticated learners. We contribute both theoretically and empirically. On the theory side, we devise the hierarchical framework of GR2 through probabilistic graphical models and prove the existence of a perfect Bayesian equilibrium. Within the GR2, we propose a practical actor-critic solver, and demonstrate its convergent property to a stationary point in two-player games through Lyapunov analysis. On the empirical side, we validate our findings on a variety of MARL benchmarks. Precisely, we first illustrate the hierarchical thinking process on the Keynes Beauty Contest, and then demonstrate significant improvements compared to state-of-the-art opponent modeling baselines on the normal-form games and the cooperative navigation benchmark.

연구 동기 및 목표

• 기존 MARL 모델이 완벽한 합리성을 가정한다는 점의 한계를 해결하기 위해, 인지적 및 계산적 제약으로 인해 실제 환경에서는 드물게 발생하는 완벽한 합리성에 대한 가정을 제거한다.
• 인지 계층 이론과 행동 게임 이론에서의 제한된 합리성에 영감을 받아, 다양한 수준의 합리성을 가진 에이전트를 모델링한다.
• 다중 에이전트 시스템에서 완전한 베이지안 균형의 존재와 수렴 가능한 학습 역학을 보장하는 이론적으로 탄탄한 프레임워크를 개발한다.
• 다른 추론 수준의 상대를 최적으로 대응할 수 있도록 하는 실용적인 액터-크리틱 알고리즘을 설계한다.
• 정규형 게임과 협동적 탐색 작업을 포함한 다양한 MARL 벤치마크에서 이 프레임워크의 실증적 타당성을 검증한다.

제안 방법

• GR2는 에이전트가 L0에서 Lk까지의 수준(레벨)을 할당받는 계층적 추론 구조를 구축하며, L0는 비전략적이고 고수준은 저수준 상대를 순환적으로 모델링한다.
• 이 프레임워크는 상대 유형과 추론 수준에 대한 믿음 분포를 표현하기 위해 확률적 그래픽 모델을 사용한다.
• GR2 내부에서 소프트 액터-크리틱 알고리즘을 유도하며, 정책 표현력 향상과 공동 Q함수 학습 유도를 위한 보조 손실을 통합한다.
• 이론적 분석을 통해 GR2 하에서 완전한 베이지안 균형의 존재를 증명하고, 리아푸노프 분석을 통해 이중 정규형 게임에서 정책 기울기 방법이 정적 점으로 수렴함을 확립한다.
• 믿음에 기반한 내재적 사고 구조(예: '나는 당신이 내가 생각한다고 믿는다고 믿는다')를 모델링함으로써 중첩된 추론(예: '나는 당신이 내가 생각한다고 믿는다고 믿는다...')을 지원한다.
• 자기 플레이와 다양한 기준 모델(DDPG-ToM, PR2, 독립 학습자 포함)에 대한 제로샷 평가에 이 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 계층적 추론 프레임워크는 완벽한 합리성 가정 대비 다중 에이전트 시스템에서 제한된 합리성을 더 효과적으로 모델링할 수 있는가?
• RQ2 GR2 프레임워크는 다양한 추론 수준을 가진 다중 에이전트 상호작용에서 완전한 베이지안 균형의 존재를 지원하는가?
• RQ3 리아푸노프 안정성 분석 하에서 GR2 액터-크리틱 알고리즘이 이중 정규형 게임에서 정적 점으로 수렴하는가?
• RQ4 다양한 균형과 조율 과제를 가진 게임에서 GR2는 최신 기준 상대 모델링 기준 성능을 능가하는가?
• RQ5 복잡하고 고차원적인 환경(예: 협동적 탐색)에서 GR2 에이전트는 다양한 합리성 수준을 가진 예측 불가능한 상대에 대해 일반화 가능한가?

주요 결과

• 정규형 게임에서의 라운드 로빈 평가에서 GR2-M 에이전트는 모든 기준 성능을 능가하며 올바른 균형에 성공적으로 도달함으로써 다양한 상대 유형에 대한 강건성을 입증한다.
• 케인즈 뷰티 콘테스트에서 GR2 에이전트는 인간 수준의 제한된 합리성과 일치하는 계층적 사고 과정을 보이며, 고수준 에이전트는 나시 균형의 0이 아닌 실험 평균(13–25)에 수렴한다.
• 회전 게임(RG)에서 L0 정책은 수렴하지 않는 루프 동역학에 갇히지만, GR2-L 정책은 유일한 균형점 (0.5, 0.5)으로 수렴하며, 고수준 정책은 더 빠른 수렴 속도를 보인다.
• 사슴 사냥 게임(SH)에서 GR2 모델은 PR2 및 DDPG-ToM과 함께 최적의 파레토 균형(S,S)에 도달하여 최대 보상 4를 얻었고, 다른 모델들은 비효율적 균형(P,P)에서 벗어나지 못했다.
• 협동적 탐색에서 GR2 에이전트는 자기 플레이 및 제로샷 성능에서 열등함을 보이며, 서로 다른 목표(예: 다른 랜드마크를 향함)를 가진 상대에 맞춰 충돌을 더 효과적으로 피한다.
• 제거 실험을 통해 GR2 목적 함수의 보조 손실이 정책 표현력을 향상시키고 공동 Q함수 학습을 더 나은 정책 최적화 방향으로 이끈다는 것이 확인되었으며, 이는 결정성 있는 롤아웃을 사용할 경우 尤히 두드러진다.