[논문 리뷰] AVATAR: Blender add-on for fast creation of 3D human models

Jordi Sànchez-Riera, Aniol Civit외 2명|arXiv (Cornell University)|2021. 03. 26.

3D Shape Modeling and Analysis참고 문헌 6인용 수 5

한 줄 요약

AVATAR는 MakeHuman의 매개변수 기반 모델을 기반으로 하여, 의미적 형태 제어, 통합된 의류 라이브러리, BVH 동작 전이를 통해 빠르고 직관적으로 현실감 있는 옷을 입힌 3D 인간 모델을 생성할 수 있는 Blender 애드온입니다. 한 번의 클릭으로 캐릭터 생성이 가능하고, 스크립트 기반 커스터마이제이션과 Blender 생태계와의 원활한 통합을 통해 연구 및 산업 분야에서 빠른 프로토타이핑, 데이터셋 생성, 애니메이션 제작을 가능하게 합니다.

ABSTRACT

Create an articulated and realistic human 3D model is a complicated task, not only get a model with the right body proportions but also to the whole process of rigging the model with correct articulation points and vertices weights. Having a tool that can create such a model with just a few clicks will be very advantageous for amateurs developers to use in their projects, researchers to easily generate datasets to train neural networks and industry for game development. We present a software that is integrated in Blender in form of add-on that allows us to design and animate a dressed 3D human models based on Makehuman with just a few clicks. Moreover, as it is already integrated in Blender, python scripts can be created to animate, render and further customize the current available options.

연구 동기 및 목표

• 적절한 비율, 의류, 애니메이션을 갖춘 현실적인 레이어드 3D 인간 모델을 제작하는 데 소요되는 높은 복잡성과 시간 비용을 해결합니다.
• 모델링, 레이어딩, 애니메이션 간의 워크플로우 마찰을 줄이기 위해 Blender 내부에 직접 인간 모델러를 통합합니다.
• 형체, 의류, 자세의 조절 가능한 변형을 갖춘 대규모로 다양한 3D 인간 데이터셋을 연구자와 개발자가 생성할 수 있도록 합니다.
• 동적 캐릭터 생성과 물리 기반 의류 시뮬레이션을 위한 스크립트 기반, 확장 가능한 환경을 제공합니다.
• 기존 도구들인 MakeHuman의 외부 통신 프로토콜 문제와 Manuel Bastioni Lab와 같은 도구의 의류 지원 부족 문제를 해결합니다.

제안 방법

• MakeHuman 기반의 매개변수 기반 신체 모델을 사용하며, 형태는 주성분 분석(PCA)을 통해 형태 서브셋에 기반한 7개의 의미적 속성(예: 체중, 키 등)으로 제어되어 의미의 해석 가능성을 유지합니다.
• 노말 매핑이 적용된 고해상도 텍스처 의류 메시 라이브러리를 통합하여, 애니메이션 중 신체 메시와의 교차를 방지하기 위해 사전 처리합니다.
• 골격 스케일링, 뼈 대응 매핑, 축 기준 변환을 포함한 BVH 동작 전이 파이프라인을 구현하여 소스 동작을 대상 아바타에 정렬합니다.
• 파이썬 스크립팅을 통해 완전한 커스터마이제이션과 자동화를 가능하게 하여, 형태, 의류, 텍스처, 애니메이션 파라미터를 프로그래밍 방식으로 제어할 수 있습니다.
• 충돌 감지를 위해 신체 및 의류 메시를 유지함으로써 모션 캡처 애드온 및 물리 시뮬레이션과의 통합을 지원합니다.
• Blender의 내장 환경을 활용하여 외부 소프트웨어나 파일 교환 없이도 직접 렌더링, 애니메이션 제작, 내보내기를 수행할 수 있습니다.

실험 결과

연구 질문

• RQ1 Blender 애드온을 통해 최소한의 사용자 입력으로 의미적 형태 제어를 유지하면서도 현실적이고 옷을 입힌 3D 인간 모델의 생성을 간소화할 수 있는가?
• RQ2 애니메이션 중 기하학적 교차가 발생하지 않도록, 어떻게 매개변수 기반 인간 모델에 의류 메시를 통합할 수 있는가?
• RQ3 다른 관절 구조와 좌표계를 가진 대상 골격에 대해 BVH 동작 파일을 얼마나 자동으로 적응시킬 수 있는가?
• RQ4 Blender 내부의 스크립트 기반, 통합된 환경이 신경망 학습을 위한 다양한 3D 인간 데이터셋 생성을 얼마나 빠르게 가속화할 수 있는가?
• RQ5 고품질 텍스처와 노말 매핑의 통합은 표준 저해상도 자원에 비해 어떻게 시각적 현실감을 향상시키는가?

주요 결과

• AVATAR 애드온은 의미적 형태 파rameter를 갖춘 관절 구조가 있는 옷을 입힌 3D 인간 모델을 한 번의 클릭으로 생성할 수 있어, 캐릭터 제작에 소요되는 시간과 전문 지식을 크게 줄였습니다.
• 형태 서브셋에 대한 주성분 분석(PCA)을 통해 7개의 핵심 속성(예: 체중, 가슴 둘레 등)의 의미적 의미가 유지되어 직관적이고 의미 있는 형태 변형이 가능합니다.
• 의류 메시는 사전 처리되어 모든 정점이 신체 메시 외부에 위치하도록 하여, 애니메이션 중 교차 아티팩트를 방지하면서도 물리 시뮬레이션을 위한 두 메시를 유지합니다.
• 골격 스케일링, 뼈 대응, 좌표계 변환을 통한 정렬을 통해 외부 동작 데이터를 대상 아바타에 성공적으로 매핑하는 BVH 동작 전이 파이프라인이 작동합니다.
• Blender의 스크립팅 환경과의 통합을 통해 다양한 3D 인간 모델의 프로그래밍 기반 생성이 가능해져, 기계 학습 응용 분야에서의 확장 가능한 데이터 수집이 가능해졌습니다.
• 형체, 의류, 자세, 텍스처의 조절 가능한 변형을 갖춘 고해상도 데이터셋 생성을 지원하여, 3D 인간 자세 추정 및 복원 모델 학습에 이상적입니다.