[논문 리뷰] Animate124: Animating One Image to 4D Dynamic Scene

Yuyang Zhao, Zhiwen Yan외 4명|arXiv (Cornell University)|2023. 11. 24.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

Animate124는 단일 실외 이미지와 텍스트 동작 프롬프트를 사용하여 4D 동적 3D 영상을 생성하는 데 있어 첫 번째 프레임워크를 제안한다. 이는 세 단계의 정적에서 동적, 굵기에서 세밀함으로의 최적화를 기반으로 하며, 2D, 3D 및 영상 디퓨전 사전 지식을 활용하고 4D 격자 기반의 동적 NeRF를 도입함으로써 개인화된 의미론적 보정을 통해 운동 드리프트를 완화하고 고해상도이자 시간적으로 일관된 3D 애니메이션을 달성한다.

ABSTRACT

We introduce Animate124 (Animate-one-image-to-4D), the first work to animate a single in-the-wild image into 3D video through textual motion descriptions, an underexplored problem with significant applications. Our 4D generation leverages an advanced 4D grid dynamic Neural Radiance Field (NeRF) model, optimized in three distinct stages using multiple diffusion priors. Initially, a static model is optimized using the reference image, guided by 2D and 3D diffusion priors, which serves as the initialization for the dynamic NeRF. Subsequently, a video diffusion model is employed to learn the motion specific to the subject. However, the object in the 3D videos tends to drift away from the reference image over time. This drift is mainly due to the misalignment between the text prompt and the reference image in the video diffusion model. In the final stage, a personalized diffusion prior is therefore utilized to address the semantic drift. As the pioneering image-text-to-4D generation framework, our method demonstrates significant advancements over existing baselines, evidenced by comprehensive quantitative and qualitative assessments.

연구 동기 및 목표

• 단일 이미지와 텍스트 기반 기술 설명으로부터 제어 가능한 3D 영상 생성의 부족을 해결하고, 동적 3D 콘텐츠 제작 분야의 핵심 격차를 메운다.
• 단일 기준 이미지를 장기간에 걸쳐 애니메이션할 때 영상 디퓨전 모델에서 발생하는 의미론적 드리프트 문제를 극복한다.
• 시간적 및 공간적 차원에서 기하학적 일관성과 외관 충실도를 유지하는 강력한 4D 표현을 개발한다.
• 정적 3D 재구성에서 동적 3D 영상 생성으로 전이되는 점진적 정밀화를 거치는 세 단계 최적화 파이프라인을 도입한다.
• 최종 정밀화 단계에서 개인화된 디퓨전 사전 지식을 활용하여 영상 품질을 향상시키고 기준 이미지와의 일치도를 높인다.

제안 방법

• 단일 기준 이미지에서 정적 3D 장면을 초기화하기 위해 2D 이미지 디퓨전 사전 지식과 3D 디퓨전 사전 지식을 활용하여 동적 모델의 기초를 마련한다.
• 시간 경과에 따른 운동을 생성하기 위해 영상 디퓨전 사전 지식을 적용하며, 초기 프레임에 조건을 줘서 주제의 자세와 외관을 일치시킨다.
• 시공간 정보를 표현하기 위해 4D 격자 특징 인코딩을 구현하여 HexPlane 기반 NeRF에서 발생하는 '자누스 문제'를 방지한다.
• 초기 및 후기 프레임에 대한 보다 강화된 감독을 위해 시간적 균형 잡힌 샘플링을 도입함으로써 초기 프레임의 일관성과 운동의 안정성을 향상시킨다.
• 텍스트 인version을 활용한 ControlNet-Tile를 통한 의미론적 보정을 도입하여 개인화된 이미지 사전 지식을 통합함으로써 의미론적 드리프트를 수정하고 시각적 충실도를 향상시킨다.
• 최종 단계에서 프레임 수준의 개인화 모델링을 적용하여 외관과 해상도를 정밀하게 보정하면서도 운동과 구조를 유지한다.

실험 결과

연구 질문

• RQ1 단일 실외 이미지가 텍스트 동작 프롬프트만으로 효과적으로 4D 동적 3D 영상으로 애니메이션될 수 있는가?
• RQ2 단일 이미지만으로 조건이 주어질 경우 영상 디퓨전 모델에서 발생하는 의미론적 드리프트는 어떻게 완화할 수 있는가?
• RQ3 4D 격자 인코딩이 HexPlane 기반 NeRF보다 3D 기하학을 더 잘 유지하고 자누스 문제를 줄이는가?
• RQ4 비디오 수준의 감독 없이도 개인화된 디퓨전 사전 지식이 3D 영상 품질을 효과적으로 향상시킬 수 있는가?
• RQ5 시간적 균형 잡힌 샘플링이 생성된 3D 영상의 초기 프레임 시각적 품질을 어느 정도 향상시키는가?

주요 결과

• Animate124는 이미지에서 4D 영상 생성 분야에서 최고 성능을 기록하며, 정량적 지표와 정성적 현실감 모두에서 기존 베이스라인을 압도한다.
• 4D 격자 인코딩은 HexPlane 대비 자누스 문제를 크게 줄이며, 특히 기준 카메라 시야가 어떤 평면에 수직에 가까운 경우에 두드러진다.
• ControlNet-Tile와 개인화 모델링을 활용한 의미론적 보정은 의미론적 드리프트를 감소시키고 외관 일관성을 향상시키며, 오차를 증폭시킬 수 있는 초해상도 기반 보정보다 우수한 성능을 낸다.
• 시간적 균형 잡힌 샘플링은 첫 번째 및 마지막 프레임에 대한 보다 강화된 감독을 통해 초기 프레임의 시각적 품질을 향상시켜 더 정확한 초기 운동과 외관을 가능하게 한다.
• 세 단계 프레임워크는 장시간 시퀀스 동안 일관된 운동, 기하학, 외관을 유지하면서 고해상도 3D 영상 생성을 가능하게 한다.
• 정성적 결과는 Animate124가 복잡한 운동을 보이는 다양한 주제(예: 동물, 인간)를 정체성과 공간 일관성을 유지하면서 성공적으로 애니메이션할 수 있음을 보여준다.