[논문 리뷰] Residual Force Control for Agile Human Behavior Imitation and Extended Motion Synthesis

Ye Yuan, Kris Kitani|arXiv (Cornell University)|2020. 06. 12.

Human Pose and Action Recognition참고 문헌 58인용 수 34

한 줄 요약

RFC는 학습 가능한 잔여 힘으로 휴머노이드 제어를 보강하여 역학 불일치를 극복하고, 민첩한 모션 모방(예: 발레) 및 이중 정책 프레임워크를 통해 다중 모드의 장기 모션을 가능하게 한다.

ABSTRACT

Reinforcement learning has shown great promise for synthesizing realistic human behaviors by learning humanoid control policies from motion capture data. However, it is still very challenging to reproduce sophisticated human skills like ballet dance, or to stably imitate long-term human behaviors with complex transitions. The main difficulty lies in the dynamics mismatch between the humanoid model and real humans. That is, motions of real humans may not be physically possible for the humanoid model. To overcome the dynamics mismatch, we propose a novel approach, residual force control (RFC), that augments a humanoid control policy by adding external residual forces into the action space. During training, the RFC-based policy learns to apply residual forces to the humanoid to compensate for the dynamics mismatch and better imitate the reference motion. Experiments on a wide range of dynamic motions demonstrate that our approach outperforms state-of-the-art methods in terms of convergence speed and the quality of learned motions. Notably, we showcase a physics-based virtual character empowered by RFC that can perform highly agile ballet dance moves such as pirouette, arabesque and jeté. Furthermore, we propose a dual-policy control framework, where a kinematic policy and an RFC-based policy work in tandem to synthesize multi-modal infinite-horizon human motions without any task guidance or user input. Our approach is the first humanoid control method that successfully learns from a large-scale human motion dataset (Human3.6M) and generates diverse long-term motions. Code and videos are available at https://www.ye-yuan.com/rfc.

연구 동기 및 목표

• 휴머노이드 모델과 실제 인간 사이의 역학 불일치를 해소하여 모션 모방을 향상시킨다.
• 기존 물리 기반 방법으로는 어려운 매우 민첩한 모션(예: 발레)을 가능하게 한다.
• 작업 지시나 사용자 입력 없이 다중 모드, 장기 모션 합성을 위한 이중 정책 프레임워크를 개발한다.
• 대규모 모션 데이터셋(Human3.6M)을 활용하여 다양한 장기 모션을 학습한다.

제안 방법

• 휴머노이드 정책에 외부 잔여 힘을 작용 공간에서 보강하는 잔여 힘 제어(RFC) 도입.
• RFC-Explicit(접촉 지점이 있는 명시적 잔여 힘) 또는 RFC-Implicit(잔여 관절 토크의 총합)으로 공식화하고 복합 정책과 결합한다.
• 잉여 용어를 포함하는 보강 운동 방정식(명시적: Eq. 2, 암시적: Eq. 4)으로 동역학 모델링.
• 수정된 역학이 원래 물리학에 가까워지도록 보상 항을 통해 잔여 힘을 정규화( Eq. 3, Eq. 5 ).
• 이중 정책 제어 프레임워크를 사용: 운동 예측을 위한 운동학 정책(CVAE)과 해당 미래를 모방하는 RFC 기반 정책이 물리적으로 합리적인 모션을 생성하도록 한다.
• 물리 시뮬레이터(MuJoCo)에서 PPO로 학습하고 PD 제어기와 모션 캡처의 기준 모션을 사용한다.

실험 결과

연구 질문

• RQ1 잔여 힘이 역학 불일치를 보완하여 매우 민첩한 모션의 모방을 가능하게 하는가?
• RQ2 RFC-Explicit와 RFC-Implicit가 학습 효율성 및 모션 품질에 있어 어떻게 비교되는가?
• RQ3 작업 지시나 사용자 입력 없이 다중 모드의 장기 모션을 생성하는 이중 정책 프레임워크가 가능한가?
• RQ4 대규모 모션 데이터셋(Human3.6M)에서 학습하면 다양한 장기 모션 합성이 가능한가?

주요 결과

• RFC는 최첨단 DeepMimic보다 민첩한 모션에서 수렴 속도가 빠르고 고품질 모션을 산출한다.
• RFC는 시뮬레이션에서 피루엣, 아라베스크, 제테와 같은 매우 민첩한 발레 동작을 가능하게 한다.
• RFC-Explicit와 RFC-Implicit은 모방 성능에서 비교 가능하게 작동하며, RFC-Implicit이 계산 효율성 측면에서 이점을 제공한다.
• 이중 정책 프레임워크를 통해 작업 지시나 사용자 입력 없이도 안정적이고 다중 모드의 장기 모션 합성을 가능하게 한다.
• 이 접근법은 Human3.6M에서 학습되어 짧은 기준 클립을 넘어 다양한 장기 모션을 생성할 수 있다.