[논문 리뷰] Motion Capture Dataset for Practical Use of AI-based Motion Editing and Stylization

Makito Kobayashi, Chen-Chieh Liao외 3명|arXiv (Cornell University)|2023. 06. 15.

Human Motion and Animation인용 수 4

한 줄 요약

이 논문은 전문 배우와 고정밀 광학 동작 캡처를 사용하여 다양한 동작 스타일(예: 활동적인, 피곤한, 감정 표현이 뚜렷한)을 포함하는 대규모 산업용 동작 캡처 데이터셋을 소개한다. 이 데이터셋은 산업 표준 뼈대 구조 기반으로 제작되어 최신 신경망을 통해 효과적인 동작 스타일 전이 및 보간을 가능하게 하며, Unreal Engine 5에서 다양한 3D 캐릭터와 동작 편집 작업을 통해 검증된 결과를 보였다.

ABSTRACT

In this work, we proposed a new style-diverse dataset for the domain of motion style transfer. The motion dataset uses an industrial-standard human bone structure and thus is industry-ready to be plugged into 3D characters for many projects. We claim the challenges in motion style transfer and encourage future work in this domain by releasing the proposed motion dataset both to the public and the market. We conduct a comprehensive study on motion style transfer in the experiment using the state-of-the-art method, and the results show the proposed dataset's validity for the motion style transfer task.

연구 동기 및 목표

• AI 기반 동작 편집을 위한 다양하고 고품질의 동작 데이터셋이 부족한 문제를 해결하기 위해 감정 및 성격 기반 스타일이 다양한 데이터셋을 제공한다.
• 3D 애니메이션 및 게임 개발 파이프라인에 실용적이고 즉시 사용 가능한 동작 데이터 통합을 가능하게 한다.
• 최신 신경망 기법을 사용하여 이 데이터셋이 동작 스타일 전이 및 보간에 적합한지를 검증한다.
• 연구용으로 공개할 수 있는 공개 데이터셋과 산업용으로 사용 가능한 상용 수준의 에미테 중심 데이터셋을 제공한다.
• 표준화되고 고정밀한 데이터셋을 통해 보편적인 동작 스타일 전이 모델 개발을 지원한다.

제안 방법

• 전문 배우가 다양한 운동을 수행하는 동안 고정밀 광학 동작 캡처 시스템을 사용하여 동작 데이터를 캡처한다.
• 3D 애니메이션 툴과 직접 호환 가능한 산업 표준 인간 뼈대 구조(예: BVH 유사 구조)를 사용하여 동작 데이터를 체계화한다.
• 콘텐츠 동작(예: 걷기, 달리기)과 스타일 동작(예: 활동적인, 여성스러운, 젊은)을 수집하여 서로 다른 동작 유형 간의 스타일 전이를 가능하게 한다.
• 신경망 기반의 동작 간 번역 모델을 적용하여 스타일 전이, 보간 및 퍼즐 스타일의 동작 블렌딩을 수행한다.
• Unreal Engine 5를 사용하여 Mirai Komachi, Unreal Mannequin, Mixamo 등의 다양한 3D 캐릭터 모델에 대해 동작 리타겟팅 및 스타일화를 성공적으로 시연한다.
• 실제 응용 분야에서의 고정밀성과 사용 가능성을 확보하기 위해 원시 동작 데이터를 청소하고 전처리한다.

Figure 1 . Motions including in our dataset applied to Mirai Komachi character model.

실험 결과

연구 질문

• RQ1 대규모이고 스타일이 다양한 동작 데이터셋이 신경망 기반 동작 스타일 전이의 성능과 일반화 능력을 향상시킬 수 있는가?
• RQ2 동작 스타일 전이 과정에서 감정이나 에너지 수준과 같은 스타일적 특성은 유지하면서 콘텐츠는 어떻게 보존할 수 있는가?
• RQ3 이러한 데이터셋이 다양한 신체 부위에 걸쳐 보편적인 동작 스타일 보간 및 새로운 스타일 블렌딩을 얼마나 잘 지원하는가?
• RQ4 이 데이터셋은 재학습이나 큰 리타겟팅 없이도 다양한 3D 캐릭터 모델에 효과적으로 적용될 수 있는가?
• RQ5 이 데이터셋을 기반으로 보편적인 동작 스타일 전이 모델을 구축하는 데 실현 가능성이 있는가?

주요 결과

• 제안된 동작 데이터셋은 고품질의 동작 스타일 전이를 성공적으로 가능하게 하여, 에너지 수준이나 감정 표현과 같은 목표 스타일 특성을 정확히 반영하면서도 콘텐츠를 유지한다.
• 다양한 스타일 간 보간(예: 활동적인–보통–피로한)을 통해 원래 데이터셋에 존재하지 않았던 부드럽고 현실적인 중간 동작을 생성하였다.
• 다른 신체 부위에 서로 다른 스타일을 적용하는 퍼즐 스타일의 동작 블렌딩은 현실적이며 표현력 있는 하이브리드 동작을 생성하였다.
• 데이터셋은 3D 애니메이션 파이프라인과 뛰어난 호환성을 보였으며, Unreal Engine 5에서 Mirai Komachi, Unreal Mannequin, Mixamo 캐릭터에 대한 성공적인 동작 리타겟팅을 통해 이를 입증하였다.
• 산업 표준 뼈대 구조를 사용함으로써 추가 전처리 없이도 상용 및 연구 응용 분야에서 직접 사용이 가능하다.
• 최신 스타일 전이 모델을 활용한 종합적 실험을 통해 데이터셋의 타당성과 동작 스타일화 작업에 적합성을 확인하였다.

(a) walk