[论文解读] Animate124: Animating One Image to 4D Dynamic Scene

Yuyang Zhao, Zhiwen Yan+4 more|arXiv (Cornell University)|Nov 24, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

Animate124 提出首个框架，仅通过一张野外图像和文本运动提示，利用三阶段、从静态到动态、从粗到精的优化方法，生成4D动态3D视频。该方法结合2D、3D和视频扩散先验，采用基于4D网格的动态NeRF，引入个性化语义优化以减轻运动漂移，实现高保真、时间一致的3D动画。

ABSTRACT

We introduce Animate124 (Animate-one-image-to-4D), the first work to animate a single in-the-wild image into 3D video through textual motion descriptions, an underexplored problem with significant applications. Our 4D generation leverages an advanced 4D grid dynamic Neural Radiance Field (NeRF) model, optimized in three distinct stages using multiple diffusion priors. Initially, a static model is optimized using the reference image, guided by 2D and 3D diffusion priors, which serves as the initialization for the dynamic NeRF. Subsequently, a video diffusion model is employed to learn the motion specific to the subject. However, the object in the 3D videos tends to drift away from the reference image over time. This drift is mainly due to the misalignment between the text prompt and the reference image in the video diffusion model. In the final stage, a personalized diffusion prior is therefore utilized to address the semantic drift. As the pioneering image-text-to-4D generation framework, our method demonstrates significant advancements over existing baselines, evidenced by comprehensive quantitative and qualitative assessments.

研究动机与目标

• 解决从单张图像和文本描述中可控生成动态3D视频的缺失问题，填补动态3D内容生成中的关键空白。
• 克服在长时间动画单张参考图像时，视频扩散模型中出现的语义漂移挑战。
• 构建鲁棒的4D表示，确保在时空维度上保持几何一致性与外观保真度。
• 提出三阶段优化流程，实现从静态3D重建到动态3D视频生成的渐进式精细化。
• 通过最终阶段的个性化扩散先验，提升视频质量与参考图像的一致性。

提出的方法

• 利用2D图像扩散先验和3D扩散先验，从单张参考图像初始化静态3D场景，奠定动态模型的基础。
• 应用视频扩散先验生成时间步上的运动，以初始帧为条件，对齐主体姿态与外观。
• 实施4D网格特征编码以表示时空信息，避免HexPlane-based NeRF固有的Janus问题。
• 引入时间平衡采样策略，增强对早期和晚期时间步的监督，提升初始帧一致性与运动稳定性。
• 通过ControlNet-Tile与文本反转结合的语义优化，注入个性化图像先验，纠正语义漂移并提升视觉保真度。
• 在最终阶段采用帧级个性化建模，精细调整外观与分辨率，同时保持运动与结构的一致性。

实验结果

研究问题

• RQ1 仅使用文本运动提示作为引导，能否有效将一张野外图像动画化为4D动态3D视频？
• RQ2 当仅有一张图像作为条件时，如何减轻视频扩散模型中的语义漂移？
• RQ3 4D网格编码是否在3D视频生成过程中，相比HexPlane-based NeRF更有效地保持3D几何结构并减少Janus问题？
• RQ4 个性化扩散先验是否能在无需视频级监督的情况下，有效提升3D视频质量？
• RQ5 时间平衡采样在多大程度上提升了生成3D视频中早期时间步的视觉质量？

主要发现

• Animate124 在图像到4D视频生成任务中达到最先进性能，在定量指标与定性真实感方面均优于现有基线方法。
• 与HexPlane相比，4D网格编码显著减少了Janus问题，尤其在参考相机视角接近垂直于任一平面时效果更明显。
• 结合ControlNet-Tile与个性化建模的语义优化，有效减少语义漂移并提升外观一致性，优于基于超分辨率的优化方法（后者可能放大错误）。
• 时间平衡采样通过增强对第一帧和最后一帧的监督，提升了早期时间步的视觉质量，使初始运动与外观更准确。
• 三阶段框架实现了长序列中运动、几何与外观高度一致的高保真3D视频生成。
• 定性结果表明，Animate124 能成功对多样化主体（如动物、人类）进行复杂动作的动画处理，同时保持身份一致与空间连贯性。