[논문 리뷰] Learning Zero-Shot Cooperation with Humans, Assuming Humans Are Biased

Chao Yu, Jiaxuan Gao외 6명|arXiv (Cornell University)|2023. 02. 03.

Mental Health Research Topics인용 수 4

한 줄 요약

이 논문은 자기 훈련 과정 중 인간의 행동적 편향을 은폐된 보상 함수로 명시적으로 모델링하는 새로운 다중 에이전트 강화학습 프레임워크인 히든 유용성 자율학습(HSP)을 제안한다. 다양한 편향된 목표 함수로 최적화된 정책들을 정책 풀에 통합함으로써, HSP는 인간과의 제로샷 협업을 가능하게 하여, 학습된 모델, 스크립트된 정책, 실제 인간 참가자 모두에서 기존 베이스라인 대비 유의미하게 높은 보상을 기록하고 인간의 보조성 평가에서도 뛰어난 성능을 보였다. Overcooked 벤치마크에서의 실험을 통해 검증되었다.

ABSTRACT

There is a recent trend of applying multi-agent reinforcement learning (MARL) to train an agent that can cooperate with humans in a zero-shot fashion without using any human data. The typical workflow is to first repeatedly run self-play (SP) to build a policy pool and then train the final adaptive policy against this pool. A crucial limitation of this framework is that every policy in the pool is optimized w.r.t. the environment reward function, which implicitly assumes that the testing partners of the adaptive policy will be precisely optimizing the same reward function as well. However, human objectives are often substantially biased according to their own preferences, which can differ greatly from the environment reward. We propose a more general framework, Hidden-Utility Self-Play (HSP), which explicitly models human biases as hidden reward functions in the self-play objective. By approximating the reward space as linear functions, HSP adopts an effective technique to generate an augmented policy pool with biased policies. We evaluate HSP on the Overcooked benchmark. Empirical results show that our HSP method produces higher rewards than baselines when cooperating with learned human models, manually scripted policies, and real humans. The HSP policy is also rated as the most assistive policy based on human feedback.

연구 동기 및 목표

• 기존 자기 훈련 다중 에이전트 강화학습(MARL) 방법들이 인간 파트너가 동일한 환경 보상 함수를 최적화한다고 가정하는 한계를 해결하기 위해.
• 인간의 행동적 편향을 명시적으로 모델링하여 인간-AI 협업에서 제로샷 일반화 성능을 향상시키기 위해.
• 자기 훈련 과정에서 다양한 편향된 정책을 생성함으로써, 예측할 수 없는 인간 파트너에 대한 적응 능력을 향상시키는 확장 가능한 방법 개발을 위해.
• 실제 인간 상호작용을 대상으로 프레임워크를 평가하고, 이전 방법들을 뛰어넘는 보다 우수한 보조 행동을 입증하기 위해.

제안 방법

• HSP는 인간의 편향을 모델링하기 위해 은폐된 보상 함수를 도입함으로써 표준 자기 훈련을 확장한다. 이 편향은 알려져 있지 않지만 일관된 것으로 간주된다.
• 은폐된 보상 공간은 환경 보상의 선형 함수로 근사하여, 다양한 편향된 목표의 효율적 탐색을 가능하게 한다.
• 근사된 은폐된 보상 공간에서의 무작위 탐색을 통해 다양한 인간 선호에 부합하는 전략을 포함하는 정책 풀을 생성한다.
• 최종 적응형 정책는 이 확장된 정책 풀에 대해 훈련되어, 예측할 수 없는 인간 행동에 대한 제로샷 일반화 성능을 향상시킨다.
• 이 방법은 두 단계 프레임워크를 유지한다: (1) 편향된 목표로 정책 풀 생성, (2) 이민 또는 다중 에이전트 강화학습을 통한 적응형 정책 훈련.
• 이 접근은 실제 인간 참가자, 학습된 인간 모델, 스크립트된 편향된 정책를 포함한 Overcooked 벤치마크에서 평가되었다.

Figure 1: Layouts in Overcooked. From left to right are Asymmetric Advantages , Coordination Ring , Counter Circuit , Distant Tomato and Many Orders respectively, with orders shown below.

실험 결과

연구 질문

• RQ1 자기 훈련 과정에서 인간의 편향을 은폐된 보상 함수로 모델링하면 제로샷 협업 성능이 향상되는가?
• RQ2 실제 데이터로 훈련된 인간 행동 모델과 협업할 때 HSP는 기존 베이스라인 대비 어떻게 성능을 내는가?
• RQ3 다양한 인간 선호, 비최적화 전략 및 기량 수준의 변동성에도 HSP는 더 잘 일반화되는가?
• RQ4 실제 인간 참가자들이 HSP의 보조성에 대해 다른 기존 AI 에이전트와 비교해 얼마나 높게 평가하는가?
• RQ5 HSP는 FCP, MEP, TrajDiv 등 다른 에이전트가 학습하지 못한 복잡한 협업 전략(예: 컨터패스팅 또는 믹스 수프 회피)을 발견하고 실행할 수 있는가?

주요 결과

• HSP는 Many Orders 레이아웃에서 평균 에피소드 보상을 가장 높게 기록했으며, 두 인간 역할 모두에서 각각 384.3점과 380.7점의 점수를 기록하여 모든 기존 베이스라인을 크게 앞섰다.
• Counter Circuit 레이아웃에서는 평균 보상 155.2점을 기록하여, 다음으로 우수한 베이스라인인 MEP(134.5점)를 20.7점 이상 앞섰으며, 이는 에피소드당 추가로 한 번의 수프 배달에 해당하는 성과였다.
• Coordination Ring 레이아웃 제외 모든 레이아웃에서 인간 참가자들이 HSP를 가장 보조적인 에이전트로 평가했으며, Coordination Ring 레이아웃에서도 FCP 및 TrajDiv를 앞서는 선호도를 보였다.
• Distant Tomato 레이아웃에서 HSP는 요구 시 토마토를 정확히 배치하여 잘못된 주문을 유일하게 피했고, FCP, MEP, TrajDiv 에이전트들은 반복적으로 토마토가 있는 패널에 옥수수를 배치했다.
• HSP는 Counter Circuit 레이아웃에서 컨터패스팅 전략을 성공적으로 실행했으며, 상하의 플레이어 모두가 작업에 기여했다. 반면 다른 에이전트들은 이 복잡한 패턴을 조율하지 못했다.
• 인간 선호도 분석 결과, HSP는 Many Orders에서 +0.38, Counter Circuit에서 +0.32의 선호도 점수를 기록하여 기존 베이스라인 대비 다수의 선호를 보였다.

(b) FCP’s failure case when cooperating with a human player