[논문 리뷰] Walk These Ways: Tuning Robot Control for Generalization with Multiplicity of Behavior

Gabriel B. Margolis, Pulkit Agrawal|arXiv (Cornell University)|2022. 12. 06.

Robotic Locomotion and Control인용 수 18

한 줄 요약

이 논문은 행동의 다양성(MoB)을 도입하여, 몇 가지 행동 파라미터를 조절하는 것으로, 한 개의 강화 학습 정책이 구르기, 질주, 춤추기 등의 다양한 이동 전략을 생성하도록 훈련시키는 방법을 제시한다. 이 방법은 재학습 없이도 분포 외 환경(예: 계단, 미끄러운 지형)에 실시간으로 적응할 수 있게 하여, 단일 오픈소스 컨트롤러를 사용해 10개 이상의 새로운 작업에 대해 강력한 일반화 성능을 보여준다.

ABSTRACT

Learned locomotion policies can rapidly adapt to diverse environments similar to those experienced during training but lack a mechanism for fast tuning when they fail in an out-of-distribution test environment. This necessitates a slow and iterative cycle of reward and environment redesign to achieve good performance on a new task. As an alternative, we propose learning a single policy that encodes a structured family of locomotion strategies that solve training tasks in different ways, resulting in Multiplicity of Behavior (MoB). Different strategies generalize differently and can be chosen in real-time for new tasks or environments, bypassing the need for time-consuming retraining. We release a fast, robust open-source MoB locomotion controller, Walk These Ways, that can execute diverse gaits with variable footswing, posture, and speed, unlocking diverse downstream tasks: crouching, hopping, high-speed running, stair traversal, bracing against shoves, rhythmic dance, and more. Video and code release: https://gmargo11.github.io/walk-these-ways/

연구 동기 및 목표

• 훈련 중에 볼 수 없었던 분포 외 환경(예: 계단, 불균형 지면, 외부 힘)에 일반화 성능이 떨어지는 표준 강화 학습 정책의 한계를 해결하기 위해.
• 계단, 불균형 지면, 외부 힘에 의해 실패하는 경우, 느린 반복적 재학습이 필요로 하는 문제를 해결하기 위해.
• 재학습에 의존하지 않고, 단일 학습된 정책을 통해 실시간으로 이동 행동을 신속하게 조정할 수 있도록 하기 위해.
• 단일 정책이 다양한 효과적인 전략을 인코딩하여, 각각 다른 방식으로 새로운 작업에 일반화될 수 있음을 보여주기 위해.
• 다양한 걸음걸이와 복잡한 행동(예: 춤추기, 고속 점프)을 지원하는 강력하고 오픈소스인 컨트롤러를 제공하기 위해.

제안 방법

• 평탄한 지면에서 걷기와 같은 고정된 작업을 시뮬레이션에서 훈련하면서도, 발굽 높이, 단단함 너비, 주파수 등의 걸음걸이 특성을 제어할 수 있는 행동 파라미터화를 도입한다.
• 실시간으로 정책의 출력을 조절할 수 있는 제어 가능한 행동 파라미터(예: 몸체 높이, 발굽 높이, 걸음 주파수, 단계 오프셋)의 집합을 도입한다.
• 관측치와 행동 파라미터를 관절 토크로 매핑하는 저수준 컨트롤러를 사용하여 실시간 행동 전환을 가능하게 한다.
• 고속 전환과 리듬 있는 걸음걸이 시퀀스를 포함한 다양한 작업에 동일한 정책을 적용하면서 실시간으로 파라미터를 조정한다.
• 재학습이 필요 없이 인간 조종자가 실시간으로 행동 공간을 탐색할 수 있도록 하여, 파라미터 조정을 통해 행동을 조절한다.
• 다양한 걸음걸이와 복잡한 행동(예: 민첩한 점프, 동기화된 춤 연출)을 지원하는 오픈소스 컨트롤러인 Walk These Ways를 공개한다.

실험 결과

연구 질문

• RQ1 단일 학습된 정책이 다양한 효과적인 이동 전략을 인코딩하여, 각기 다른 방식으로 분포 외 환경에 일반화할 수 있는가?
• RQ2 파라미터 조절을 통한 실시간 행동 조정이 계단이나 미끄러운 표면과 같은 분포 외 작업에 적응하는 데 얼마나 효과적인가?
• RQ3 MoB는 재학습 없이 다양한 작업에 대해 일반화 성능을 얼마나 향상시키는가?
• RQ4 공원조르나 동기화된 춤과 같은 복잡한 작업을 위해 고속 또는 정밀한 타이밍으로 행동 전환을 수행할 수 있는가?
• RQ5 MoB가 제공하는 유연성과 내부 분포 성능 간의 상충 관계는 어느 정도인가?

주요 결과

• 평탄한 지면에서만 훈련된 단일 정책이 실시간 행동 조정을 통해 계단, 불균형 지형, 외부 힘에 대한 일반화 성능을 성공적으로 보였다.
• 컨트롤러는 3 m/s로 가속하고 60 cm 전방 점프를 수행하는 등 고속의 걸음걸이 전환을 가능하게 하여, 동적 조작에서 민첩성을 입증했다.
• 정밀한 타이밍 조절을 통해 발자국 간격을 음악의 90bpm 박자에 맞추어 단계와 주파수 조절을 통해 동기화된 춤 연출이 가능했다.
• 시스템은 구르기, 점프, 고속 달리기, 외부 힘에 대비한 고정, 화물 운반 등 다양한 행동을 지원한다.
• 평탄한 지면에서의 질주 성능에 약간의 희생이 있었음에도 불구하고, 단지 파라미터 조정만으로 10개 이상의 새로운 작업에 대해 강력한 적응이 가능했다.
• 오픈소스인 Walk These Ways 컨트롤러는 실시간 행동 선택을 지원하며, 시뮬레이션과 실제 환경 모두에서 검증되었다.