[논문 리뷰] Example-based Motion Synthesis via Generative Motion Matching

Weiyu Li, Xuelin Chen외 3명|arXiv (Cornell University)|2023. 06. 01.

Human Motion and Animation인용 수 1

한 줄 요약

이 논문은 단일 또는 소수의 예제 시퀀스에서 재학습 없이도 다양한 고품질의 운동 변형을 채굴할 수 있도록 이중 방향 시각 유사도를 생성 비용 함수로 사용하는 훈련 없이도 작동하는 생성형 운동 합성 프레임워크인 GenMM을 제안한다. 다단계 운동 매칭 파이프라인 내에서 GenMM은 복잡한 뼈대조차도 1초 이내로 현실적이고 일관된 운동을 생성할 수 있으며, 키프레임 기반 합성, 운동 완성, 무한 루프 등 다양한 작업을 가능하게 한다.

ABSTRACT

We present GenMM, a generative model that "mines" as many diverse motions as possible from a single or few example sequences. In stark contrast to existing data-driven methods, which typically require long offline training time, are prone to visual artifacts, and tend to fail on large and complex skeletons, GenMM inherits the training-free nature and the superior quality of the well-known Motion Matching method. GenMM can synthesize a high-quality motion within a fraction of a second, even with highly complex and large skeletal structures. At the heart of our generative framework lies the generative motion matching module, which utilizes the bidirectional visual similarity as a generative cost function to motion matching, and operates in a multi-stage framework to progressively refine a random guess using exemplar motion matches. In addition to diverse motion generation, we show the versatility of our generative framework by extending it to a number of scenarios that are not possible with motion matching alone, including motion completion, key frame-guided generation, infinite looping, and motion reassembly. Code and data for this paper are at https://wyysf-98.github.io/GenMM/

연구 동기 및 목표

• . 최소한의 예제 시퀀스에서 다양하고 고품질의 운동을 생성할 수 있는 훈련이 없는 운동 합성 방법을 개발하기 위해.
• . 장기간의 훈련 시간, 시각적 잡음, 복잡한 뼈대에 대한 낮은 확장성 등의 문제를 해결하기 위해.
• . 높은 품질의 결과를 내는 것으로 알려진 운동 매칭 기술을, 제한된 예제에서 다양한 변형을 채굴할 수 있는 생성형 프레임워크로 확장하기 위해.
• . 기존의 운동 매칭으로는 어려운 키프레임 기반 생성, 운동 완성, 무한 루프 등 새로운 애니메이션 작업을 가능하게 하기 위해.

제안 방법

• . 생성형 운동 매칭 모듈을 도입하여, 생성된 운동을 유도하기 위해 이중 방향 시각 유사도를 비용 함수로 사용한다.
• . 입력 예제에서 얻은 예제 운동 패치를 사용해 랜덤한 운동 추측을 점진적으로 개선하는 다단계 정밀화 과정을 적용한다.
• . 합성된 시퀀스와 예제 시퀀스 간의 운동 패치 분포를 비교하여 생성 비용을 정의함으로써 일관성 유지와 잡음 방지를 보장한다.
• . 뼈대 인식 기능을 통해 구조적 일관성을 유지하고, 낮은 주기성 입력에서도 뼈대 축을 따라 변형을 가능하게 한다.
• . 입력 예제에서 파생된 운동 데이터베이스에서 효율적인 유사도 검색과 패치 매칭을 통해 훈련 없이도 완전히 작동한다.
• . 경량 웹 인터페이스와 블렌더 애드온을 통해 실시간 예술가 상호작용이 가능한 프로덕션 파이프라인에 원활하게 통합된다.

실험 결과

연구 질문

• RQ1 . 운동 매칭을 오프라인 훈련이 필요 없는 생성형 프레임워크로 적응시킬 수 있는가? 이는 낮은 수의 예제 시퀀스에서 다양하고 고품질의 운동을 생성할 수 있는가?
• RQ2 . 운동 패치 분포 간의 이중 방향 유사도는 어떻게 생성 비용 함수로 사용되어 합성된 운동의 정확성과 일관성을 보장할 수 있는가?
• RQ3 . 제안된 방법은 키프레임 기반 생성, 운동 완성, 무한 루프 등 복잡한 애니메이션 작업을 소수의 예제 시퀀스로도 지원할 수 있는가?
• RQ4 . 딥러닝 모델이 종종 실패하는 대규모이고 복잡한 뼈대 구조에서 이 방법의 성능은 어떠한가?
• RQ5 . 신경 생성 모델과 비교했을 때, 운동 매칭 기반 방법과 신경 생성 모델 간의 품질과 생성 다양성 사이의 상충 관계는 어떠한가?

주요 결과

• . GenMM은 복잡한 뼈대에 대해서도 훈련 없이 1초 이내로 고품질이고 다양한 운동 시퀀스를 생성한다.
• . 수동으로 지정된 자세를 따르는 키프레임 기반 운동 생성이 성공적으로 수행되었으며, 결과 시퀀스는 일관성 있고 자연스럽다.
• . 결손된 운동 세그먼트(예: 하체 운동)를 예제 패치를 사용해 채워 넣음으로써 타당하고 일관된 결과를 도출한다.
• . 특정 자세에서 시작하고 끝나는 무한 루프 애니메이션을 생성할 수 있으며, 부드러운 전환과 눈에 띄는 불일치 없이 작동한다.
• . 웹 인터페이스와 블렌더 애드온을 통해 실시간 상호작용이 가능하여 소비자 하드웨어에서도 실용적인 사용성을 입증한다.
• . GANimator와 같은 신경 모델에 비해 생성 다양성은 낮지만, 진동, 과도한 부드러움 등의 시각적 잡음은 방지하여 운동 품질을 우선시한다.