[논문 리뷰] From Motor Control to Team Play in Simulated Humanoid Football

Siqi Liu, Guy Lever외 20명|arXiv (Cornell University)|2021. 05. 25.

Sports Analytics and Performance인용 수 12

한 줄 요약

이 논문은 시뮬레이션된 인간형 에이전트가 축구를 플레이할 수 있도록 하는 계층적 강화학습 프레임워크를 제안한다. 이는 모방 학습, 다중 에이전트 강화학습, 인구 기반 훈련을 통합하여, 밀리초 수준의 저수준 운동 제어에서 초단위 수준의 고수준 팀 협력에 이르기까지 다양한 수준의 행동을 학습할 수 있도록 한다. 이 방법은 물리적으로 현실적인 환경에서 유기적으로 팀 전술이 발생하고, 이식 가능한 행동 표현을 갖춘 인간처럼 유기적인 축구 플레이를 달성한다.

ABSTRACT

Intelligent behaviour in the physical world exhibits structure at multiple spatial and temporal scales. Although movements are ultimately executed at the level of instantaneous muscle tensions or joint torques, they must be selected to serve goals defined on much longer timescales, and in terms of relations that extend far beyond the body itself, ultimately involving coordination with other agents. Recent research in artificial intelligence has shown the promise of learning-based approaches to the respective problems of complex movement, longer-term planning and multi-agent coordination. However, there is limited research aimed at their integration. We study this problem by training teams of physically simulated humanoid avatars to play football in a realistic virtual environment. We develop a method that combines imitation learning, single- and multi-agent reinforcement learning and population-based training, and makes use of transferable representations of behaviour for decision making at different levels of abstraction. In a sequence of stages, players first learn to control a fully articulated body to perform realistic, human-like movements such as running and turning; they then acquire mid-level football skills such as dribbling and shooting; finally, they develop awareness of others and play as a team, bridging the gap between low-level motor control at a timescale of milliseconds, and coordinated goal-directed behaviour as a team at the timescale of tens of seconds. We investigate the emergence of behaviours at different levels of abstraction, as well as the representations that underlie these behaviours using several analysis techniques, including statistics from real-world sports analytics. Our work constitutes a complete demonstration of integrated decision-making at multiple scales in a physically embodied multi-agent setting. See project video at https://youtu.be/KHMwq9pv7mg.

연구 동기 및 목표

• 신체적 다중 에이전트 시스템에서 저수준 운동 제어와 고수준 팀 협력 간 격차를 메우기 위해.
• 복잡한 다중 척도 행동을 위한 모방 학습, 단일 및 다중 에이전트 강화학습, 인구 기반 훈련의 통합을 조사하기 위해.
• 물리적으로 현실적인 환경에서 인간처럼 자연스럽고, 유기적으로 팀 전술이 발생하는 움직임을 가능하게 하기 위해.
• 실제 스포츠 분석 기법을 활용하여 다양한 시간적 및 공간적 척도에서 행동의 유기적 발생을 분석하기 위해.
• 어려운 다중 에이전트, 물리 기반 환경에서 종단간 학습을 통해 조율된 장기적인 행동을 달성하기 위해.

제안 방법

• 모션 캡처 데이터로부터의 모방 학습을 통해 기본 이동 능력을 먼저 학습하는 단계적 훈련 과정을 사용한다.
• 단일 에이전트 강화학습을 적용하여 드리블링, 슈팅과 같은 중간 수준의 기술을 개발한다.
• 자기 플레이를 통한 다중 에이전트 강화학습을 활용하여 팀 협력과 전술 인식 능력을 개발한다.
• 다양한 수준의 기술과 에이전트 간 지식 전이를 가능하게 하기 위해 이식 가능한 행동 표현을 도입한다.
• 다양한 팀 구성에 걸쳐 일반화 능력을 향상시키기 위해 초모수 최적화를 위한 인구 기반 훈련을 활용한다.
• 물리적 상호작용(신체 접촉 포함)을 지원하기 위해 현실적인 역학을 갖춘 물리 기반 시뮬레이션 환경을 사용한다.

실험 결과

연구 질문

• RQ1 다중 에이전트 및 물리 시뮬레이션 환경에서 저수준 운동 제어를 고수준 팀 협력과 효과적으로 통합할 수 있는가?
• RQ2 이식 가능한 행동 표현이 다수의 추상화 수준 간 계층적 학습을 가능하게 하는 데 어떤 역할을 하는가?
• RQ3 모방 학습과 강화학습을 융합하여 자연스럽고 인간처럼 보이는 움직임과 효과적인 팀 플레이를 동시에 달성할 수 있는가?
• RQ4 시뮬레이션된 축구에서 발생하는 팀 전술은 실제 스포츠 분석 패턴과 어떻게 비교되는가?
• RQ5 종단간 학습 방법이 어려운 다중 에이전트 환경에서 조율된 장기적인 행동의 유기적 발생을 얼마나 잘 지원할 수 있는가?

주요 결과

• 에이전트는 모방 학습을 통해 달리기, 회전, 드리블링과 같은 현실적인 인간처럼 보이는 움직임을 성공적으로 학습했다.
• 단일 에이전트 강화학습을 통해 시뮬레이션 환경에서 슈팅, 패assing과 같은 중간 수준의 축구 스킬이 자연스럽게 유기적으로 발생했다.
• 자기 플레이를 통한 다중 에이전트 강화학습을 통해 팀 협력과 전술 인식 능력이 유기적으로 발생하여 효과적인 2v2 축구 플레이가 가능해졌다.
• 계층적 기술 학습과 이식 가능한 표현의 통합을 통해 밀리초에서 수십 초에 이르는 다양한 시간 척도에서 효율적인 학습이 가능해졌다.
• 실제 스포츠 분석 기법을 활용한 분석 결과, 발생한 팀 행동 패턴이 프로 축구에서 관찰된 패턴과 유사하게 나타났다.
• 이 프레임워크는 커리큘럼 기반 훈련을 통한 종단간 학습이 다중 에이전트 시스템에서 복잡하고 조율되며 물리적으로 기반을 둔 행동을 지원할 수 있음을 입증했다.