[논문 리뷰] PECAN: Leveraging Policy Ensemble for Context-Aware Zero-Shot Human-AI Coordination

Xingzhou Lou, Jiaxian Guo외 4명|arXiv (Cornell University)|2023. 01. 16.

Ethics and Social Impacts of AI인용 수 5

한 줄 요약

PECAN은 정책 앙상블과 맥락 인식 기반 방법을 제안하여 파트너의 다양성을 높이고 파트너 기술 수준에 따라 적응하는 행동을 가능하게 함으로써 제로샷 인간-AI 협업을 향상시킨다. 이는 파트너 기반 최적 반응이 아닌 수준 기반 최적 반응을 학습함으로써 오버쿡드 환경에서 최신 기술 수준(SOTA) 성능을 달성하며, 프oxy 및 실제 인간 평가 모두에서 베이스라인을 능가한다.

ABSTRACT

Zero-shot human-AI coordination holds the promise of collaborating with humans without human data. Prevailing methods try to train the ego agent with a population of partners via self-play. However, these methods suffer from two problems: 1) The diversity of a population with finite partners is limited, thereby limiting the capacity of the trained ego agent to collaborate with a novel human; 2) Current methods only provide a common best response for every partner in the population, which may result in poor zero-shot coordination performance with a novel partner or humans. To address these issues, we first propose the policy ensemble method to increase the diversity of partners in the population, and then develop a context-aware method enabling the ego agent to analyze and identify the partner's potential policy primitives so that it can take different actions accordingly. In this way, the ego agent is able to learn more universal cooperative behaviors for collaborating with diverse partners. We conduct experiments on the Overcooked environment, and evaluate the zero-shot human-AI coordination performance of our method with both behavior-cloned human proxies and real humans. The results demonstrate that our method significantly increases the diversity of partners and enables ego agents to learn more diverse behaviors than baselines, thus achieving state-of-the-art performance in all scenarios. We also open-source a human-AI coordination study framework on the Overcooked for the convenience of future studies.

연구 동기 및 목표

• 제로샷 인간-AI 협업을 위한 집단 기반 훈련에서 행동 다양성이 제한되는 문제를 해결하기 위해.
• 일반적인 최적 반응 정책가 새로운 인간 파트너에 적응하지 못하는 한계를 극복하기 위해.
• 파트너 기술 수준을 식별함으로써 자율 에이전트가 보편적이고 맥락 인식 기반의 협업 전략을 학습할 수 있도록 하기 위해.
• 훈련 중 인간 데이터가 필요 없이 일반화 능력과 적응 능력을 향상시키기 위해.
• 미래의 인간-AI 협업 연구를 위한 확장 가능하고 제어 가능하며 오픈소스 프레임워크를 제공하기 위해.

제안 방법

• 정책 앙상블 방법은 인구 집단의 정책 원소를 가중 평균하여 다양한 파트너 에이전트를 생성하며, 각 반복에서 무작위 가중치를 사용함으로써 인구 규모를 늘리지 않고도 다양성을 높인다.
• 맥락 인식 모듈은 각 파트너의 기술 수준(고급/저급)을 식별하여 자율 에이전트가 파트너 기반 최적 반응이 아닌 수준 기반 최적 반응을 학습할 수 있도록 한다.
• 자율 에이전트는 이중 단계 프로세스를 사용하여 훈련된다: 첫 번째 단계에서는 정책 앙상블을 통해 다양한 AI 파트너 집단을 생성하고, 두 번째 단계에서는 이 다양성이 있는 집단을 사용하여 맥락 인식 정책을 학습한다.
• 수준 기반 정책 원소 그룹화는 앙상블 파트너가 제어 가능하고 명확히 구분되는 행동 수준을 유지하도록 하여 다양성과 훈련 안정성을 향상시킨다.
• 이 방법은 t-SNE 시각화를 통해 수준 기반 정책 앙상블이 무그룹화된 앙상블보다 더 다양하고 제어 가능한 행동 분포를 생성한다는 것을 확인한다.
• 프레임워크는 동적 훈련을 위한 PantheonRL과 통합되며, 실제 참가자를 포함한 인간-AI 협업 연구를 지원한다.

실험 결과

연구 질문

• RQ1 정책 앙상블은 인구 규모를 늘리지 않고도 제로샷 인간-AI 협업에서 파트너의 다양성을 높일 수 있는가?
• RQ2 맥락 인식 기반 기술 수준 식별은 자율 에이전트가 새로운 인간 파트너에 일반화하는 데 능력을 향상시키는가?
• RQ3 수준 기반 최적 반응은 파트너 기반 최적 반응보다 제로샷 환경에서 더 나은 협업 성능을 이끌 수 있는가?
• RQ4 PECAN은 프oxy 평가와 실제 인간 평가 모두에서 최신 기술 수준 방법과 비교해 어떻게 성과를 내는가?
• RQ5 맥락 인식 정책 적응을 통해 자율 에이전트는 더 적응형이고 보편적인 행동을 학습할 수 있는가?

주요 결과

• t-SNE 시각화를 통해 PECAN은 무그룹화된 앙상블에 비해 더 산산이 흩어지고 제어 가능한 행동 분포를 보여주며, 파트너의 다양성이 크게 향상됨을 확인하였다.
• 정책 앙상블 방법은 각 반복에서 무작위 가중치를 사용하여 파트너를 구분되게 생성함으로써, 계산 비용을 늘리지 않고도 행동 다양성을 향상시켰다.
• 프록시 인간 모델과의 제로샷 협업에서 PECAN은 모든 베이스라인을 능가했으며, 평균 12.25접시를 제공한 반면 MEP 기준은 6.75접시였다.
• 실제 인간 연구에서 PECAN은 더 높은 평균 성능를 기록했고, 15명의 인간 참가자로부터 MEP보다 유의미하게 높은 적응성 평가를 받았다.
• 사례 연구에서는 PECAN 에이전트가 장애물을 우회하고 두 냄비를 균형 있게 사용하는 등 적응형 행동를 보였지만, MEP 에이전트는 한 냄비에 과도하게 의존하는 비적응형, 비최적 행동을 보였다.
• 이 방법은 다양한 오버쿡드 레이아웃에서 뛰어난 성능를 보이며 자율 에이전트가 더 보편적이고 적응형 협업 전략을 학습할 수 있도록 한다.