[논문 리뷰] Generative Tweening: Long-term Inbetweening of 3D Human Motions

Yi Zhou, Jingwan Lu외 4명|arXiv (Cornell University)|2020. 05. 18.

Human Motion and Animation참고 문헌 53인용 수 20

한 줄 요약

이 논문은 생체역학적 제약 조건을 반영하는 범위 제약이 있는 정방향 운동역학 계층을 통해 3D 인간 운동의 장기적 보간을 위한 조건부 생성 적대 신경망을 소개한다. 이는 먼저 局부 관절의 회전을 예측하고, 그에 기반해 전반적인 캐릭터 궤적을 추론하는 이단계적 접근 방식을 사용한다. 이 방법은 희소한 关键프레임에서 다양하고 현실적인 운동 생성을 가능하게 하며, 스타일 제어를 위한 새로운 'Movement DNA' 개념을 도입함으로써 고도로 사용자 제어가 가능한 실시간 복잡한 자연스러운 운동을 생성한다.

ABSTRACT

The ability to generate complex and realistic human body animations at scale, while following specific artistic constraints, has been a fundamental goal for the game and animation industry for decades. Popular techniques include key-framing, physics-based simulation, and database methods via motion graphs. Recently, motion generators based on deep learning have been introduced. Although these learning models can automatically generate highly intricate stylized motions of arbitrary length, they still lack user control. To this end, we introduce the problem of long-term inbetweening, which involves automatically synthesizing complex motions over a long time interval given very sparse keyframes by users. We identify a number of challenges related to this problem, including maintaining biomechanical and keyframe constraints, preserving natural motions, and designing the entire motion sequence holistically while considering all constraints. We introduce a biomechanically constrained generative adversarial network that performs long-term inbetweening of human motions, conditioned on keyframe constraints. This network uses a novel two-stage approach where it first predicts local motion in the form of joint angles, and then predicts global motion, i.e. the global path that the character follows. Since there are typically a number of possible motions that could satisfy the given user constraints, we also enable our network to generate a variety of outputs with a scheme that we call Motion DNA. This approach allows the user to manipulate and influence the output content by feeding seed motions (DNA) to the network. Trained with 79 classes of captured motion data, our network performs robustly on a variety of highly complex motion styles.

연구 동기 및 목표

• 매우 희소한 사용자 지정 关键프레임에서 장기적이고 복잡하며 현실적인 3D 인간 운동을 생성하는 데 도전하는 것.
• 장기적인 운동 시퀀스 동안 생체역학적으로 타당하고 关键프레임 정확도를 유지하는 것.
• 기본 운동 패턴에 조건을 주는 새로운 'Movement DNA' 메커니즘을 통해 사용자에게 운동 스타일 제어 기능을 제공하는 것.
• 더 큰 제작 유연성을 위해 부분적인 신체 자세나 2D 스케치와 같은 다양한 입력 형식을 지원하는 것.
• 상호작용 가능한 애니메이션 워크플로우를 위한 실시간 또는 근접 실시간 운동 생성을 달성하는 것.

제안 방법

• 이중 단계 조건부 GAN 아키텍처: 먼저 局부 관절의 회전을 생성하고, 그에 기반해 전반적인 운동 궤적을 예측하는 방식.
• Euler 각도 표현 방식을 사용하여 고정된 순서와 범위를 갖는 범위 제약이 있는 정방향 운동역학(RC-FK) 계층을 통합하여 관절의 회전에 생체역학적 제약 조건을 적용.
• 이웃하는 쌍 간의 보간이 아니라 모든 关键프레임을 동시에 고려하는 통합적이고 맥락 인식 기반의 생성 전략.
• 'Movement DNA' 도입 — 동일한 关键프레임 제약 조건 하에서 서로 다른 기초 운동 패tern을 입력함으로써 네트워크가 다수의 다양한 운동 시퀀스를 생성할 수 있도록 하는 잠재 조건 설정 방식.
• 훈련 및 추론 시 마스킹된 관절 입력을 활용하여 부분 신체 입력(예: 루트만, 반신, 2D 투영 등)을 지원하도록 입력 표현을 적응시킴.
• CMU Mocap 데이터셋에서 캡처된 79개의 운동 클래스에 대해 훈련하여 다양한 운동 스타일로 일반화 가능하도록 함.

실험 결과

연구 질문

• RQ1 딥 생성 모델은 매우 희소한 关键프레임에서 장기적이고 자연스럽고 생체역학적으로 타당한 3D 인간 운동을 어떻게 생성할 수 있는가?
• RQ2 장기적인 시퀀스 동안 정확한 关键프레임 자세 유지와 함께 전반적인 운동 일관성을 어떻게 확보할 수 있는가?
• RQ3 동일한 关键프레임 제약 조건 하에서 여러 개의 다릅니다만 타당한 운동 시퀀스를 어떻게 생성할 수 있는가?
• RQ4 2D 스케치나 루트 위치만 있는 부분적 또는 저해상도 입력에도 일반화 가능한가?
• RQ5 상호작용 가능한 애니메이션 및 반복적 설계를 위한 실시간 성능를 달성할 수 있는가?

주요 결과

• 모델은 최소 네 개의 희소한 关键프레임에서 출발하여 자연스럽고 다양한 3D 인간 운동 시퀀스를 생성하며, 자연스러운 자세와 의미 있는 운동 변형을 보인다.
• 이중 단계 아키텍처 — 먼저 局부 운동을 생성하고, 그에 기반해 전반적 궤적을 예측하는 방식 — 는 장기적인 운동 생성의 정확도를 높이면서도 생체역학적 타당성을 유지하는 데 성공했다.
• RC-FK 계층은 Euler 각도의 범위와 순서를 제약하여 비현실적인 관절의 회전을 방지함으로써 운동 공간 내의 불연속성을 줄였다.
• Movement DNA 메커니즘은 서로 다른 기초 운동 패턴에 조건을 주어 사용자가 출력 운동의 스타일과 다양성을 영향을 줄 수 있도록 하여, 동일한 关键프레임 세트에 대해 다수의 타당한 결과를 생성할 수 있도록 했다.
• 시스템은 부분적인 신체 자세나 2D 스케치와 같은 다양한 입력 형식을 지원하며, 비균일하거나 왜곡된 2D 입력조차도 타당한 3D 운동을 생성할 수 있다.
• 이 방법은 실시간 성능를 달성하여 1분 분량의 운동을 0.5초 이내로 생성할 수 있으며, 짧은 시퀀스에 대해서는 실시간 업데이트가 가능하다.