[논문 리뷰] UniCon: Universal Neural Controller For Physics-based Character Motion

Tingwu Wang, Yunrong Guo외 2명|arXiv (Cornell University)|2020. 11. 30.

Human Motion and Animation참고 문헌 50인용 수 13

한 줄 요약

UniCon는 재훈련 없이 수천 가지 다양한 동작에서 실시간으로 안정적이고 일반화된 제어를 가능하게 하는 물리기반 캐릭터 애니메이션을 위한 통합 신경 컨트롤러를 제안한다. 이는 두 수준의 프레임워크—고수준 운동 스케줄링과 강화학습 기반 저수준 운동 실행자—를 사용하며, 새로운 동작, 외부 요동, 비디오 및 키보드 입력과 같은 다양한 입력 모odal리티에 대해 제로샷 일반화를 달성한다.

ABSTRACT

The field of physics-based animation is gaining importance due to the increasing demand for realism in video games and films, and has recently seen wide adoption of data-driven techniques, such as deep reinforcement learning (RL), which learn control from (human) demonstrations. While RL has shown impressive results at reproducing individual motions and interactive locomotion, existing methods are limited in their ability to generalize to new motions and their ability to compose a complex motion sequence interactively. In this paper, we propose a physics-based universal neural controller (UniCon) that learns to master thousands of motions with different styles by learning on large-scale motion datasets. UniCon is a two-level framework that consists of a high-level motion scheduler and an RL-powered low-level motion executor, which is our key innovation. By systematically analyzing existing multi-motion RL frameworks, we introduce a novel objective function and training techniques which make a significant leap in performance. Once trained, our motion executor can be combined with different high-level schedulers without the need for retraining, enabling a variety of real-time interactive applications. We show that UniCon can support keyboard-driven control, compose motion sequences drawn from a large pool of locomotion and acrobatics skills and teleport a person captured on video to a physics-based virtual avatar. Numerical and qualitative results demonstrate a significant improvement in efficiency, robustness and generalizability of UniCon over prior state-of-the-art, showcasing transferability to unseen motions, unseen humanoid models and unseen perturbation.

연구 동기 및 목표

• 물리기반 강화학습 기반 캐릭터 애니메이션 컨트롤러의 일반화 능력 부족과 높은 훈련 비용 문제를 해결한다.
• 저수준 정책을 재훈련 없이도 다양한 운동 스타일에서 실시간 상호작용 제어를 가능하게 한다.
• 훈련 중에 볼 수 없었던 외부 요동과 열악한 품질의 입력 운동에 대해 안정성을 확보한다.
• 키보드 명령, 비디오 스트림, 운동 스티칭과 같은 다양한 입력 모달리티를 지원한다.
• 명시적인 전이 훈련 없이도 관련이 없는 스킬 간에 부드럽고 물리기반의 운동 전이를 가능하게 한다.

제안 방법

• 고수준 운동 스케줄러를 위한 입력 해석과 저수준 운동 실행자(딥 강화학습으로 훈련)를 포함한 두 수준 아키텍처를 설계한다.
• 운동 추적 정확도, 물리적 타당성, 정책 안정성의 균형을 맞추기 위해 제약 조건이 부여된 다목적 보상 함수를 도입한다.
• 다양한 운동 스타일을 포함한 대규모 데이터셋에서의 훈련을 안정화하기 위해 운동 밸런서를 구현한다.
• 훈련 중 과적합을 줄이고 일반화 성능을 향상시키기 위해 정책 분산 제어기를 적용한다.
• 저수준 실행자와 고수준 스케줄러를 분리하여 다양한 입력 소스와 함께 플러그 앤 플레이 사용이 가능하도록 한다.
• 다양한 이동 및 애슬레틱한 운동을 포함한 대규모 데이터셋에서 저수준 운동 실행자를 훈련시어 제로샷 전이를 가능하게 한다.

실험 결과

연구 질문

• RQ1 한 개의 신경 컨트롤러가 재훈련 없이 수천 가지 다양한 새로운 동작에 일반화될 수 있는가?
• RQ2 훈련 중에 볼 수 없었던 환경적 요동(예: 장애물, 불균형한 지면)에 대해 컨트롤러가 안정성을 유지할 수 있는가?
• RQ3 명시적인 전이 훈련 없이도 관련이 없는 운동 간에 자연스럽고 물리기반의 전이를 생성할 수 있는가?
• RQ4 비디오, 키보드, 또는 운동 시퀀스와 같은 다양한 입력에서 실시간 상호작용 제어를 지원할 수 있는가?
• RQ5 다양한 히ュ먼로이드 모델과 운동 스타일 간에 컨트롤러 성능이 어떻게 스케일링되는가?

주요 결과

• UniCon는 훈련 데이터에 존재하지 않는 복잡한 전이(예: 걷기에서 점프로의 전이)를 포함한 새로운 동작에 대해 제로샷 일반화를 달성한다.
• 장애물이나 불균형한 지면과 같은 훈련 중에 볼 수 없었던 환경적 요동에 대해 추가 훈련 없이도 안정적인 성능을 보인다.
• 다른 동작 간의 운동 전이(예: 걷기에서 점프로)가 자연스럽고 물리적으로 타당하며, 예측과 점진적 가속/감속 같은 애니메이션 원칙을 따르는 경향이 있다.
• 비디오 입력을 사용한 실시간 상호작용 제어를 지원하며, 인간의 움직임을 캡처하여 물리기반 아바타로 최소 지연으로 텔레포트하는 데 성공한다.
• 저수준 운동 실행자는 다양한 히ュ먼로이드 모델과 운동 스타일 간에 일반화되며, 훈련 분포를 초월한 강력한 전이 성능를 보인다.
• 불일치하는 프레임 레이트 또는 비디오 입력에서의 노이즈 있는 자세 추정이 있더라도 온라인 재훈련 없이도 효율적이고 실시간 애니메이션을 구현할 수 있다.