[논문 리뷰] Maximum Entropy Population-Based Training for Zero-Shot Human-AI Coordination

Rui Zhao, Jinming Song외 6명|arXiv (Cornell University)|2021. 12. 22.

Reinforcement Learning in Robotics인용 수 5

한 줄 요약

이 논문은 최대 엔트로피 기반 인공지능 에이전트 집단 훈련(MEP)을 제안하며, 개별 및 상호 정책 다양성을 장려하기 위해 인구 엔트로피 보너스를 사용하여 다양한 강화학습 에이전트 집단을 훈련합니다. 최적의 대응 AI 에이전트를 훈련하는 동안 어려운 파트너 정책을 동적으로 우선순위에 올림으로써 MEP는 훈련 중 인간 데이터가 없는 상황에서도 뛰어난 제로샷 협업 성능을 달성하며, 자가대응, PBT, TrajeDi, FCP를 모두 능가합니다. Overcooked 환경에서의 성능을 입증하였습니다.

ABSTRACT

We study the problem of training a Reinforcement Learning (RL) agent that is collaborative with humans without using any human data. Although such agents can be obtained through self-play training, they can suffer significantly from distributional shift when paired with unencountered partners, such as humans. To mitigate this distributional shift, we propose Maximum Entropy Population-based training (MEP). In MEP, agents in the population are trained with our derived Population Entropy bonus to promote both pairwise diversity between agents and individual diversity of agents themselves, and a common best agent is trained by paring with agents in this diversified population via prioritized sampling. The prioritization is dynamically adjusted based on the training progress. We demonstrate the effectiveness of our method MEP, with comparison to Self-Play PPO (SP), Population-Based Training (PBT), Trajectory Diversity (TrajeDi), and Fictitious Co-Play (FCP) in the Overcooked game environment, with partners being human proxy models and real humans. A supplementary video showing experimental results is available at https://youtu.be/Xh-FKD0AAKE.

연구 동기 및 목표

• 훈련 중 인간 데이터가 제공되지 않는 제로샷 인간-AI 협업 문제를 해결하기 위해.
• 자기대응로 훈련된 에이전트가 만나지 않은 인간 파트너와 조화를 이룰 수 없게 되는 분포 이탈 문제를 완화하기 위해.
• 훈련 집단 내 정책 다양성을 향상시켜 인간의 다양한 전략에 일반화할 수 있도록 AI 에이전트의 성능을 향상시키기 위해.
• 다중 에이전트 집단 내 개별 및 상호 다양성을 동시에 장려하기 위한 계산 효율적이고 안전한 대체 목적함수를 개발하기 위해.
• 다양한 집단에서 우선순위 샘플링을 통해 더 나은 협업 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 개별 정책 엔트로피와 쌍별 쿨백-라이블러 발산을 조합한 새로운 인구 다양성(PD) 목적함수를 제안하며, 정책 다양성을 측정합니다.
• PD 목적함수의 하한이 되는 계산 효율적인 선형 복잡도의 대체 목적함수인 인구 엔트로피(PE)를 유도합니다.
• 집단의 공동 다양성을 극대화하기 위해 PE 보너스를 사용해 중앙집중적 훈련 방식으로 인구 집단을 훈련합니다.
• 학습 진전 기반 우선순위 부여 방식을 사용해 다양한 집단에서 샘플링한 에이전트와 최적의 대응 AI 에이전트를 결합하여 훈련합니다.
• 협업 난이도에 따라 샘플링 우선순위를 동적으로 조정하여 미리 만나지 않은 정책에 대한 일반화 능력을 향상시킵니다.
• 평가를 위해 인간 프oxy 모델과 실제 인간 참가자를 모두 활용하여 Overcooked 환경에서 방법을 적용합니다.

실험 결과

연구 질문

• RQ1 엔트로피 기반 다양성 증진을 통한 인구 기반 훈련 접근법이 인간과의 제로샷 협업을 향상시킬 수 있는가?
• RQ2 제안된 인구 엔트로피 보너스가 기존 방법에 비해 개별 및 상호 정책 다양성을 어떻게 향상시키는가?
• RQ3 다양한 집단에서 우선순위 샘플링을 통해 더 나은 일반화 및 미리 보지 않은 인간 전략에 대한 성능 향상이 이루어지는가?
• RQ4 실제 인간-AI 협업에서 MEP는 Fictitious Co-Play, TrajeDi, Self-Play PPO와 같은 최신 기술(SOTA) 방법보다 우수한가?
• RQ5 이 방법은 인간의 시연 데이터 없이도 견고한 협업 성능을 달성할 수 있는가?

주요 결과

• MEP는 Overcooked 환경에서 인간 프oxy 모델 및 실제 인간 평가 모두에서 Self-Play PPO, PBT, TrajeDi, FCP를 능가합니다.
• 기존 방법들과 비교해 다양한 인간 프oxy 모델과 실제 인간과의 협업에서 더 높은 평균 보상과 더 높은 성공률을 기록합니다.
• FCP의 절반 크기의 인구 집단으로도 우수한 성능을 달성함으로써, 다양성 유도의 샘플 효율성이 뛰어나다는 것을 입증합니다.
• 동적 우선순위 부여 방식이 일반화 능력을 크게 향상시켰으며, 다양한 인간 전략에 걸쳐 일관된 성능 향상이 관찰되었습니다.
• 인구 엔트로피 보너스는 개별 및 상호 다양성을 효과적으로 증진시켜 더 견고하고 민첩한 AI 정책을 도출합니다.
• 실증 결과에 따르면, MEP로 훈련된 에이전트들은 훈련되지 않은 인간 파트너와 상호작용할 때 더 유연하고 분포 이탈에 덜 민감합니다.