[논문 리뷰] VolTeMorph: Realtime, Controllable and Generalisable Animation of Volumetric Representations

Stephan J. Garbin, M. Kowalski외 6명|arXiv (Cornell University)|2022. 08. 01.

Human Motion and Animation인용 수 15

한 줄 요약

VolTeMorph는 신경 반사장(NeRF)의 사진 같은 생생함을 유지하면서도, 체적 표현을 실시간으로 제어 가능하고 일반화 가능한 방식으로 애니메이션하기 위해 테트라하드론 메쉬를 변형하는 방법을 제안한다. 이는 블렌드셰이프나 물리 기반 시뮬레이션을 통해 예술가가 쉽게 제어할 수 있는 동적 애니메이션을 가능하게 하며, 일반적인 물체와 개인화된 아바타(보이지 않는 표정과 동작 포함) 모두를 지원한다.

ABSTRACT

The recent increase in popularity of volumetric representations for scene reconstruction and novel view synthesis has put renewed focus on animating volumetric content at high visual quality and in real-time. While implicit deformation methods based on learned functions can produce impressive results, they are `black boxes' to artists and content creators, they require large amounts of training data to generalise meaningfully, and they do not produce realistic extrapolations outside the training data. In this work we solve these issues by introducing a volume deformation method which is real-time, easy to edit with off-the-shelf software and can extrapolate convincingly. To demonstrate the versatility of our method, we apply it in two scenarios: physics-based object deformation and telepresence where avatars are controlled using blendshapes. We also perform thorough experiments showing that our method compares favourably to both volumetric approaches combined with implicit deformation and methods based on mesh deformation.

연구 동기 및 목표

• 기존 NeRF 애니메이션 방법의 한계를 해결하라. 이는 종종 투명한 모델이며, 큰 학습 데이터를 요구하며, 볼 수 있는 동작 외에는 일반화되지 않는다.
• 고성능 하드웨어에서 체적 콘텐츠의 실시간 렲영을 가능하게 하되, 높은 시각적 정밀도를 유지한다.
• 다양한 물체와 아바타, 특히 개인화된 인간의 머리까지 포함한 스케일러블 콘텐츠 제작을 지원한다.
• 블렌드셰이프나 물리 기반 시뮬레이션과 같은 기존의 애니메이션 제어 메커니즘과의 호환성을 확보한다.
• 다양한 기반가능한, 해석 가능한 변형 프레임워크를 활용해 훈련 중에 볼 수 없던 표정과 동작으로의 외삽을 가능하게 한다.

제안 방법

• 정적 체적 장면을 기하학적 구조와 신경 반사장(네트워크 기반 반사장, NeRF)을 모두 포함하는 테트라하드론 메쉬로 표현하여 사진 같은 생생한 렌더링을 구현한다.
• 예술가가 쉽게 사용할 수 있는 기법(예: 블렌드셰이프 또는 물리 기반 시뮬레이션)을 사용해 테트라하드론 메쉬를 변형함으로써, 기반 NeRF를 유지하여 고품질의 렌더링을 구현한다.
• 사람의 레이어를 따라 반사장과 밀도를 효율적으로 평가하기 위해 이중-MLP 계층적 샘플링 전략을 사용하여 선명도를 향상시키고 잡음 줄인다.
• 3DMM 얼굴 모델을 체적 표현(Vol3DMM)으로 확장하여 표준 자세의 변형과 볼 수 없는 표정으로의 일반화를 가능하게 한다.
• 현대 GPU에서 성능을 확보하기 위해 하드웨어 가속 레이 트레이싱을 활용해 실시간 추론을 수행한다.
• 제어 매개변수(예: 블렌드셰이프 가중치 또는 물리 상태)를 테트라하드론 메쉬의 정점 위치로 매핑하는 기반가능한 변형 파이프라인을 적용한다.

실험 결과

연구 질문

• RQ1 체적 변형 방법이 실시간 성능를 유지하면서도 동적 장면에서 사진 같은 생생한 렌더링 품질을 달성할 수 있는가?
• RQ2 테트라하드론 메쉬 기반 변형 프레임워크가 통합된 방식으로 물리 기반 시뮬레이션과 블렌드셰이프 기반 애니메이션을 모두 지원할 수 있는가?
• RQ3 단일 정적 이미지로 훈련된 경우, 이 방법이 볼 수 없는 얼굴 표정과 자세로 일반화할 수 있는 정도는 어느 정도인가?
• RQ4 특히 물체 파손과 같은 복잡한 위상 변화가 발생하는 경우, 훈련 중에 볼 수 없던 동적 동작으로의 외삽 성능은 어떠한가?
• RQ5 훈련 중에 볼 수 없었던 영역이나 모델 피팅이 불량한 경우, 이 방법의 한계는 무엇인가?

주요 결과

• VolTeMorph는 일반적인 GPU에서 실시간 추론(20–30 FPS)을 달성하여 체적 장면의 상호작용 애니메이션을 가능하게 한다.
• 시각적 품질과 일반화 능력 면에서 암시적 변형 및 메쉬 기반 접근 방식을 능가하며, 특히 볼 수 없는 표정과 동작 처리에서 뛰어난 성능을 보인다.
• 계층적 샘플링 전략을 사용하는 단일 MLP는 얇은 구조(예: 이가)의 누락을 방지하고 선명도를 향상시키며 고리 무늬 잡음을 제거한다.
• 제안된 계층적 샘플링 전략을 사용한 렌더링의 PSNR(32.1)는 기본 이중-MLP 설정(29.8)과 단일-MLP 기반 기준(30.5)을 크게 능가한다.
• Vol3DMM는 단지 한 표정에 대한 30장의 이미지로만 훈련된 경우에도 볼 수 없는 표정과 자세를 가진 아바타의 현실적인 애니메이션을 가능하게 한다.
• 한계점으로는 볼 수 없는 영역(예: 입 안쪽)에서의 부정확한 외관 생성, 나쁜 얼굴 모델 피팅에 대한 민감성, 눈과 눈꺼풀의 함께 변형되어 비자연스럽게 늘어나는 현상이 있다.