[논문 리뷰] Universal Humanoid Motion Representations for Physics-Based Control

Zhengyi Luo, Jinkun Cao외 5명|arXiv (Cornell University)|2023. 10. 06.

Human Pose and Action Recognition인용 수 4

한 줄 요약

이 논문은 변동 정보 볼트를 사용하여 사전 훈련된 운동 모방 모델에서 다양한 운동 기술을 확률적 잠재 공간으로 압축함으로써 물리 기반 인간형 제어를 위한 유니버설 운동 표현 PULSE를 소개한다. 체감 정보 조건부 사전 분포를 함께 학습함으로써 PULSE는 효율적이고 안정적이며 자연스러운 운동 생성을 가능하게 하여 계층적 강화 학습에서 다양한 작업(예: 지형 이동, VR 운동 추적)에서 샘플 효율성과 성능을 크게 향상시킨다.

ABSTRACT

We present a universal motion representation that encompasses a comprehensive range of motor skills for physics-based humanoid control. Due to the high dimensionality of humanoids and the inherent difficulties in reinforcement learning, prior methods have focused on learning skill embeddings for a narrow range of movement styles (e.g. locomotion, game characters) from specialized motion datasets. This limited scope hampers their applicability in complex tasks. We close this gap by significantly increasing the coverage of our motion representation space. To achieve this, we first learn a motion imitator that can imitate all of human motion from a large, unstructured motion dataset. We then create our motion representation by distilling skills directly from the imitator. This is achieved by using an encoder-decoder structure with a variational information bottleneck. Additionally, we jointly learn a prior conditioned on proprioception (humanoid's own pose and velocities) to improve model expressiveness and sampling efficiency for downstream tasks. By sampling from the prior, we can generate long, stable, and diverse human motions. Using this latent space for hierarchical RL, we show that our policies solve tasks using human-like behavior. We demonstrate the effectiveness of our motion representation by solving generative tasks (e.g. strike, terrain traversal) and motion tracking using VR controllers.

연구 동기 및 목표

• 일반적으로 좁은 전용 데이터셋에서 훈련되며 복잡하거나 자유형 운동 작업으로의 일반화에 실패하는 기존 운동 표현 공간의 제한된 커버리지 문제를 해결한다.
• 직접적인 운동학적 제어의 비효율성과 불안정성을 해결하기 위해 계층적 제어를 위한 압축되고 표현력 있는 잠재 공간을 학습한다.
• 재학습 없이도 하나의 통합된 운동 사전을 재사용함으로써, VR 컨트롤러 운동 추적 및 복잡한 지형 이동과 같은 후행 작업을 수행할 수 있도록 한다.
• 다양하고 물리적으로 타당한 운동을 생성하는 구조화된 체감 정보 조건부 사전 분포를 학습함으로써 강화 학습에서의 샘플 효율성과 탐색 성능을 향상시킨다.
• 하나의 운동 표현이 고성능과 안정성을 유지하면서도 생성 작업(예: 지형 이동)과 추정 작업(예: VR 컨트롤러 운동 추적)을 모두 지원할 수 있음을 입증한다.

제안 방법

• 운동학적 시퀀스에서 고정밀도 인간 운동을 학습하기 위해 대규모 비정형 운동 데이터셋(예: AMASS)에서 운동 모방 모델을 훈련한다.
• 변동 자동에코더에 변동 정보 볼트를 적용하여 사전 훈련된 모방 모델에서 직접적으로 운동 기술을 저차원 잠재 공간으로 압축함으로써 확률적 모델링을 보장한다.
• 잠재 코드에서 관절 궤적을 생성하는 디코더와 관찰된 운동에서 잠재 코드로 매핑하는 인코더를 갖춘 인코더-디코더 아키텍처를 설계한다.
• 체감 정보(현재 자세와 속도) 조건부로 학습 가능한 사전 분포를 함께 훈련하여 후행 강화 학습에서 샘플링과 탐색을 안내한다.
• 고수준 정책가 잠재 공간에서 구조화되고 물리적으로 타당한 운동을 샘플링할 수 있도록 사전 분포를 잔여 동작으로 사용한다.
• 연속적인 잠재 코드 간의 큰 편차를 방지하기 위해 정규화 손실($\mathcal{L}_{\text{regu}}$)을 적용하여 잠재 공간의 연속성과 압축성을 확보한다.

실험 결과

연구 질문

• RQ1 보행이나 춤과 같은 좁은 영역을 넘어서 다양한 인간 운동 능력을 포함하는 단일 통합 운동 표현을 학습할 수 있는가?
• RQ2 자유형 또는 복잡한 운동이 요구되는 작업에서 강화 학습에 효과적으로 활용될 수 있도록 물리 기반 운동 표현을 표현력 있게 효율적으로 만들 수 있는가?
• RQ3 체감 정보 조건부 사전 분포가 계층적 강화 학습 중 샘플 효율성과 안정성 향상에 어떤 역할을 하는가?
• RQ4 사전 훈련된 모방 모델에서 온라인으로 압축함으로써, 작업 전용 미세조정 없이 다양한 운동 스타일을 커버할 수 있는가?
• RQ5 학습된 잠재 공간이 생성 작업(예: 지형 이동)과 추정 작업(예: VR 컨트롤러 운동 추적)을 모두 고성능과 현실성으로 지원할 수 있는가?

주요 결과

• PULSE는 전체 프레임워크(학습 가능한 사전 분포, 정규화, 공동 훈련 포함)를 사용할 경우 도전적인 VR 컨트롤러 추적 작업에서 93.4%의 성공률을 기록하여 이러한 구성 요소를 제거한 아블레이션보다 뚜렷이 뛰어난 성능을 보였다.
• 정규화 항($\mathcal{L}_{\text{regu}}$)을 사용함으로써 평균 전신 MPJPE 오차는 88.6 mm로 감소하고, 정규화 없이 기준선을 사용한 경우보다 성공률이 46.5%포인트 향상되었다.
• 학습된 사전 분포를 잔여 동작으로 조합할 경우 운동 추적 성공률가 71.0%에 도달했으며, 고정된 가우시안 사전 분포를 사용할 경우 뿐만 아니라 18.1%에 그치는 것으로 나타나, 탐색에 있어 그 핵심적인 역할을 수행함을 입증했다.
• ASE, CALM, HuMoR와 같은 기준 모델보다 PULSE가 더 자연스럽고 다양한 운동을 생성하며, 더 적은 수의 비현실적인 운동을 보였으며, 정성적 및 정량적 비교를 통해 검증되었다.
• 전체 PULSE 프레임워크로 훈련할 경우 평균 MPJPE 오차는 67.7 mm로 감소하고 속도 오차는 14.9로 낮아져 운동 추적의 고정밀도를 입증했다.
• 계층적 강화 학습에서 빠른 수렴을 가능하게 했다: PULSE 잠재 공간을 사용해 훈련한 정책는 초기 훈련보다 수렴 속도가 더 빠르며, 그림 5의 성공률 곡선을 통해 이를 확인할 수 있었다.