[논문 리뷰] Motion Flow Matching for Human Motion Synthesis and Editing

Vincent Tao Hu, Wenzhe Yin외 8명|arXiv (Cornell University)|2023. 12. 14.

Human Motion and Animation인용 수 4

한 줄 요약

이 논문은 인간 동작 합성용 새로운 생성 모델인 Motion Flow Matching를 소개한다. 이 모델은 기존의 확산 모델에 비해 샘플링 단계를 10단계로 줄여 추론 시간을 크게 단축하면서도, 샘플링 경로 재작성 기반의 훈련 없이도 효율적인 동작 편집을 가능하게 한다. 방법은 ODE 기반의 플로우 매칭을 활용하여 일직선의 생성 경로를 보장함으로써 빠르고 고해상도의 동작 생성과 다양한 작업(예: 보간, 예측, 상체 조작 등)에서의 일관된 편집을 실현한다.

ABSTRACT

Human motion synthesis is a fundamental task in computer animation. Recent methods based on diffusion models or GPT structure demonstrate commendable performance but exhibit drawbacks in terms of slow sampling speeds and error accumulation. In this paper, we propose \emph{Motion Flow Matching}, a novel generative model designed for human motion generation featuring efficient sampling and effectiveness in motion editing applications. Our method reduces the sampling complexity from thousand steps in previous diffusion models to just ten steps, while achieving comparable performance in text-to-motion and action-to-motion generation benchmarks. Noticeably, our approach establishes a new state-of-the-art Fréchet Inception Distance on the KIT-ML dataset. What is more, we tailor a straightforward motion editing paradigm named \emph{sampling trajectory rewriting} leveraging the ODE-style generative models and apply it to various editing scenarios including motion prediction, motion in-between prediction, motion interpolation, and upper-body editing. Our code will be released.

연구 동기 및 목표

• 기존의 확산 기반 인간 동작 생성 모델이 일반적으로 수천 번의 단계를 필요로 하여 추론 속도가 느린 문제를 해결하기 위해.
• 세부 조정이나 추가 훈련 없이도 제어성과 편집 가능성의 향상을 위해.
• 기타 모odal에서 사용된 바 있는 플로우 매칭 기법을 인간 동작 생성 분야에 처음으로 적용하기 위해.
• 플로우 매칭 모델의 일직선 경로 성질을 활용하여 실시간 동작 편집을 실현하기 위해.
• 최소한의 샘플링 단계로 KIT-ML 데이터셋에서 Fréchet Inception Distance(FID) 기준 새로운 SOTA 성능을 확립하기 위해.

제안 방법

• ODE 솔버를 통해 선형 보간된 벡터장을 추정하도록 훈련하는 플로우 매칭 기반의 생성 모델을 제안한다.
• 모션 시퀀스를 효율적이고 확장 가능한 방식으로 모델링하기 위해 트랜스포머 기반 아키텍처를 사용한다.
• 샘플링 경로 재작성: 알려진 동작 세그먼트를 ODE 경로와 정렬하여 일관된 편집된 동작를 생성하는 훈련 없이도 가능한 편집 방법.
• 노이즈에서 데이터로의 동작 생성을 위해 일직선 경로를 따라 ODE 솔버를 적용함으로써 안정성과 빠른 수렴을 보장한다.
• 기존의 시간 단계(예: t=0.2) 이후부터 샘플링 경로를 재작성하여 입력 동작 세그먼트와의 일관성을 유지하면서 편집을 수행한다.
• 관절 공간에서의 인painting을 적용하여 특정 신체 부위의 의미적 편집을 수행하면서 다른 부분에는 영향을 주지 않는다.

실험 결과

연구 질문

• RQ1 플로우 매칭이 인간 동작 생성에 효과적으로 적용되어 기존의 확산 모델보다 훨씬 적은 샘플링 단계로 고품질 결과를 도출할 수 있는가?
• RQ2 플로우 매칭의 일직선 경로 성질을 어떻게 활용하여 효율적이고 훈련 없이도 동작 편집이 가능한가?
• RQ3 샘플링 경로 재작성 기법이 보간 또는 미래 예측과 같은 부분 시퀀스 편집 시에도 동작의 일관성을 유지할 수 있는가?
• RQ4 제안된 방법이 표준 벤치마크에서 생성 품질과 추론 속도 양면에서 기존의 확산 기반 모델을 능가하는가?
• RQ5 모델이 상체 조작 및 동작 보간과 같은 다양한 편집 시나리오에 일반화되며 의미적 일관성을 유지할 수 있는가?

주요 결과

• 제안된 Motion Flow Matching 모델은 KIT-ML 데이터셋에서 기존 방법들을 능가하는 새로운 SOTA 성능을 기록하며 Fréchet Inception Distance(FID) 15.4를 달 đạt했다.
• 기존의 확산 모델에서 약 1000단계의 샘플링 단계를 10단계로 줄여 MDM 대비 100배, MLD 대비 5배의 속도 향상을 이룩했다.
• HumanML3D 테스트 세트에서 평균 0.11초의 추론 시간을 기록하여 실시간 적용 가능성을 입증했다.
• 샘플링 경로 재작성 기법은 보간, 미래 예측, 상체 편집, 보간 등 다양한 시나리오에서 일관된 편집을 가능하게 하였으며, MDM 대비 FID, ADE, FDE에서 약간의 향상을 보였다.
• 조금이라도 이른 시간 단계(예: t=0.2)에서도 합리적으로 정확한 동작 추정을 제공하여 프롬프트와 밀도 높은 일치를 보였으며, 일직선 경로의 안정성을 입증했다.
• 함수 평가 횟수를 훨씬 줄여도 텍스트 기반 동작 생성 및 액션 기반 동작 생성에서 기존 베이스라인과 유사하거나 더 좋은 성능을 유지하며 높은 성능을 기록했다.