[논문 리뷰] Learning Agile Soccer Skills for a Bipedal Robot with Deep Reinforcement Learning

Tuomas Haarnoja, Ben Moran외 26명|arXiv (Cornell University)|2023. 04. 26.

Robotic Locomotion and Control참고 문헌 98인용 수 6

한 줄 요약

이 논문은 시뮬레이션 내에서 엔드 투 엔드 훈련을 통해 실물 하드웨어로의 제로샷 전이를 통해 저비용, 소형 인간형 로봇이 걷기, 발차기, 넘어진 후 복귀, 전략적 플레이와 같은 민첩하고 역동적이며 안전한 축구 스킬을 학습할 수 있음을 보여준다. 에이전트는 스크립트 기반 베이스라인 대비 뛰어난 성능을 보이며, 걷기 속도가 156% 빠르고, 넘어진 후 복귀 시간이 63% 빠르며, 발차기 속도가 24% 빠르며, 1v1 축구 환경에서 스킬을 원활하게 조합한다.

ABSTRACT

We investigate whether Deep Reinforcement Learning (Deep RL) is able to synthesize sophisticated and safe movement skills for a low-cost, miniature humanoid robot that can be composed into complex behavioral strategies in dynamic environments. We used Deep RL to train a humanoid robot with 20 actuated joints to play a simplified one-versus-one (1v1) soccer game. The resulting agent exhibits robust and dynamic movement skills such as rapid fall recovery, walking, turning, kicking and more; and it transitions between them in a smooth, stable, and efficient manner. The agent's locomotion and tactical behavior adapts to specific game contexts in a way that would be impractical to manually design. The agent also developed a basic strategic understanding of the game, and learned, for instance, to anticipate ball movements and to block opponent shots. Our agent was trained in simulation and transferred to real robots zero-shot. We found that a combination of sufficiently high-frequency control, targeted dynamics randomization, and perturbations during training in simulation enabled good-quality transfer. Although the robots are inherently fragile, basic regularization of the behavior during training led the robots to learn safe and effective movements while still performing in a dynamic and agile way -- well beyond what is intuitively expected from the robot. Indeed, in experiments, they walked 181% faster, turned 302% faster, took 63% less time to get up, and kicked a ball 34% faster than a scripted baseline, while efficiently combining the skills to achieve the longer term objectives.

연구 동기 및 목표

• 딥 레이어닝이 역동적인 환경에서 저비용 双거보 로봇을 위한 복잡하고 안전하며 역동적인 움직임 스킬을 합성할 수 있는지 조사하기.
• 자기장 훈련과 자가 대결을 통한 계층적 스킬 훈련을 통해 걷기, 발차기, 넘어진 후 복귀와 같은 복합 행동의 엔드 투 엔드 학습을 가능하게 하기.
• 하드웨어 변동성과 모델링되지 않은 역학적 특성에도 불구하고 효과적인 제로샷 전이를 달성하기.
• 현장 카메라와 시간적 통합을 활용한 시각 기반 제어를 탐색하여 동작 캡처 시스템에 대한 의존도를 줄이기.
• 간단한 보상 설계에서 유도된 잠재적인 전략적 행동(예: 공 이동 예측, 슛 차단)이 자연스럽게 발생하는지 평가하기.

제안 방법

• 20개의 관절을 갖춘 1v1 축구 시뮬레이션 환경에서 딥 레이어닝을 사용해 단일 스킬(넘어진 후 복귀 및 골 시도)을 별도로 훈련.
• 자기장 대결을 통해 이전의 자신과 경기를 하여 전술적 행동을 향상시키기 위해 이러한 스킬들을 통합하고 정제하여 단일 정책으로 변환.
• 시뮬레이션 훈련 중 고주기 제어, 타겟된 역학 랜덤라이제이션, 무작위 힘 외란을 적용하여 내성적 안정성과 시뮬레이션-실세계 전이 성능 향상.
• NeRF 기반 시각 시뮬레이션을 사용하여 랜덤화된 NeRF와 동적 객체(공, 상대편)를 중첩하여, 시각 기반 에이전트의 시뮬레이션-실세계 격차를 줄임.
• LSTM 기반 에이전트를 활용해 순차적 시각 관측을 처리하고, 부분적이고 자기 중심적인 카메라 시각에서 상태 정보를 추론.
• 목표 달성과 상대편 차단에 집중된 희박한 보상 설계를 통해 정책을 최적화하였으며, 개별 움직임에 대한 조밀한 보상 설계는 사용하지 않음.

Figure 1 : We created matching simulated (left) and real (right) soccer environments. The pitch is $5\text{\,}\mathrm{m}$ long by $4\text{\,}\mathrm{m}$ wide. The real environment was also equipped with a motion capture (mocap) system for tracking the two robots and the ball.

실험 결과

연구 질문

• RQ1 딥 레이어닝은 실세계 축구 플레이를 위한 저비용 인간형 로봇이 복잡하고 역동적이며 안전한 움직임 스킬을 학습할 수 있는가?
• RQ2 자기장 대결을 통해 고립된 스킬(예: 넘어진 후 복귀, 발차기)이 얼마나 효과적으로 통합된 고수준 정책으로 조합될 수 있는가?
• RQ3 고주기 제어와 외란 기반 도메인 랜덤라이제이션을 사용할 경우, 시뮬레이션에서 실물 로봇으로의 제로샷 전이가 얼마나 효과적인가?
• RQ4 시각 기반 에이전트는 오직 차량 내 카메라와 시간적 기억만을 사용해 공을 추적하고 효과적으로 위치를 조정할 수 있는가?
• RQ5 간단한 보상 함수에서 유도된 잠재적인 전략적 행동(예: 공 이동 예측, 슛 차단)이 자연스럽게 발생하는가?

주요 결과

• 실세계 로봇은 스크립트 기반 베이스라인 대비 걷기 속도가 156% 빠르게 기록되어 학습된 정책으로 인한 성능 향상이 뚜렷하게 나타났다.
• 넘어진 후 복귀 시간이 스크립트 기반 베이스라인 대비 63% 감소하여, 동적 외란에 대한 강건하고 효율적인 복귀 능력을 보였다.
• 기본 베이스라인 대비 발차기 속도가 24% 향상되어 물체 상호작용에서 향상된 민첩성과 동적 제어 능력을 입증했다.
• 시각 기반 페널티킥 시험에서 에이전트는 10번 중 6번(60%) 골을 성공하고, 골대에 3번(30%) 맞추어 효과적인 시각 상태 추론과 행동 계획 수립 능력을 입증했다.
• 에이전트는 공 이동을 예측하고 상대편 슛을 차단하는 등 기본적인 전술적 이해가 자연스럽게 유도되었으며, 이러한 행동에 대한 명시적 보상 설계 없이도 발생했다.
• 하드웨어의 취약성에도 불구하고, 훈련 중 경량 수정과 행동 정규화를 통해 안전하고 역동적이며 효율적인 실세계 실행이 가능했다.

Figure 2 : One of the OP3 robots we used in our experiments.