[논문 리뷰] Neural Recursive Belief States in Multi-Agent Reinforcement Learning

Pol Blasco Moreno, Edward Hughes외 3명|arXiv (Cornell University)|2021. 02. 03.

Reinforcement Learning in Robotics참고 문헌 48인용 수 7

한 줄 요약

이 논문은 다중 에이전트 강화학습 에이전트가 상대방의 믿음에 대한 믿음과 같은 고차수 믿음(예: 타인의 믿음에 대한 믿음)을 재귀 신경 믿음 네트워크를 사용해 추론할 수 있도록 하는 확장 가능한 딥 생성 모델인 신경 재귀 믿음 상태(Neural Recursive Belief States, NRBS)를 제안한다. Running with Scissors와 같은 복잡한 부분 관찰 가능 마르코프 게임에서 모델리스 기반 보다 뛰어난 성능을 보이며, 고차수 믿음 모델을 사용하는 에이전트가 저차수 또는 믿음 모델링이 없는 에이전트보다 뛰어난 성능을 보였다.

ABSTRACT

In multi-agent reinforcement learning, the problem of learning to act is particularly difficult because the policies of co-players may be heavily conditioned on information only observed by them. On the other hand, humans readily form beliefs about the knowledge possessed by their peers and leverage beliefs to inform decision-making. Such abilities underlie individual success in a wide range of Markov games, from bluffing in Poker to conditional cooperation in the Prisoner's Dilemma, to convention-building in Bridge. Classical methods are usually not applicable to complex domains due to the intractable nature of hierarchical beliefs (i.e. beliefs of other agents' beliefs). We propose a scalable method to approximate these belief structures using recursive deep generative models, and to use the belief models to obtain representations useful to acting in complex tasks. Our agents trained with belief models outperform model-free baselines with equivalent representational capacity using common training paradigms. We also show that higher-order belief models outperform agents with lower-order models.

연구 동기 및 목표

• 에이전트가 관측하지 못한 정보와 동반자 정책을 추론해야 하는 다중 에이전트 부분 관찰 가능성 문제를 해결한다.
• 복잡한 환경에서 계층적 믿음 구조(예: 타인의 믿음에 대한 믿음)의 비가역성을 딥 러닝을 통해 극복한다.
• 에이전트가 의사결정을 향상시키기 위해 재귀 믿음 상태를 형성하고 활용할 수 있도록 한다.
• 고차수 믿음 모델링이 저차수 또는 모델리스 기반 보다 뛰어난 성능을 내는지 입증한다.
• 딥 강화학습의 확장성과 도메인에 관계없는 특성을 유지하면서도, 구조적이고 해석 가능한 믿음 표현을 통합한다.

제안 방법

• 계층적 믿음 상태를 근사하기 위해 재귀적 딥 생성 모델을 사용하며, 세계 상태뿐 아니라 타인의 믿음에 대한 믿음(B1, B2 등)도 모델링한다.
• 관측 역사를 처리하는 RNN이 생성한 신경 코드를 사용해 믿음 상태를 표현하며, 베이지안 필터링 역학을 모방한다.
• 지식 기반 상태 감독 없이도 스케일이 가능한 엔드 투 엔드의 비지도 학습을 통해 믿음 모델을 훈련한다.
• 신경 믿음 표현에 조건을 붙여 정책 학습을 수행함으로써, 에이전트가 타인의 비공개 정보와 정책을 추론한 지식에 기반해 행동할 수 있도록 한다.
• 믿음 추정에서 사용하는 샘플 수를 제어하는 인자 K를 활용해 중첩 샘플링을 통합하며, K는 믿음 추정에 사용되는 샘플 수를 제어한다.
• 학습 규칙을 수정하지 않고 표준 정책 기울기 업데이트를 유지함으로써 기존 딥 RL 프레임워크와의 호환성을 확보한다.

실험 결과

연구 질문

• RQ1 재귀 믿음 모델은 은닉 정보가 존재하는 부분 관찰 가능 마르코프 게임에서 다중 에이전트 의사결정을 향상시킬 수 있는가?
• RQ2 고차수 믿음 모델링(B1, B2 등)이 저차수 또는 모델리스 기반 보다 측정 가능한 성능 향상을 이끌 수 있는가?
• RQ3 믿음 근사에서 사용하는 샘플 수(K)는 재귀 믿음 학습의 안정성과 성능에 어떤 영향을 미치는가?
• RQ4 정확한 상태 감독 없이도 복잡한 환경에서 신경 믿음 모델을 효율적이고 확장 가능하게 훈련시킬 수 있는가?
• RQ5 재귀 믿음을 활용하는 에이전트는 순수하게 관측 역사를 기반으로 하거나 모델리스 정책에 의존하는 에이전트보다 얼마나 뛰어난가?

주요 결과

• Running with Scissors 환경에서 K=10개 샘플을 사용하는 NRBS를 적용한 에이전트가 모델리스 기반 및 K=1개 샘플을 사용하는 에이전트보다 뛰어난 성능을 보였다.
• Tiger 게임에서 K=10개 샘플을 사용해 훈련한 에이전트는 정확한 고차수 믿음 분포를 학습한 반면, K=1인 경우는 치명적인 실패를 겪었다.
• 다른 이의 믿음을 모델링하는 B1 에이전트는 믿음 모델링이 없는 B0 에이전트보다 평균 수익이 높았지만, 이는 K=10으로 충분한 샘플링이 이루어졌을 때에만 성립했다. K=1일 경우 B1 에이전트는 성능이 열 劣하고 분산이 더 컸다.
• K=10일 경우 B1과 B0 에이전트 간의 성능 격차는 뚜렷했으며, 이는 더 풍부한 믿음 표현이 더 나은 전략적 추론을 가능하게 한다는 것을 입증했다.
• 고차수 믿음 모델(B2 이상)은 경험적으로 효과적이며, Hanabi와 같은 복잡한 게임에서 더 깊은 마음 이론 추론의 잠재력을 보여준다.
• 이 방법은 확장성과 도메인에 관계없는 특성을 유지한다. 정책 업데이트 규칙을 수정하지 않기 때문에 표준 딥 RL 학습 파라다임과의 통합이 가능하다.