[论文解读] A Comprehensive Survey on 3D Content Generation

Jian Liu, Xiaoshui Huang+9 more|arXiv (Cornell University)|Feb 2, 2024

Computer Graphics and Visualization Techniques被引用 4

一句话总结

本综述提出了一种用于3D内容生成的新型分类法，将方法分类为3D原生、基于2D先验和混合方法。综述了60篇关键论文，识别出在质量、可控性、速度和数据稀缺性方面的关键挑战，并提出了未来方向，包括用于AIGC-3D的基模型和改进的基准测试。

ABSTRACT

Recent years have witnessed remarkable advances in artificial intelligence generated content(AIGC), with diverse input modalities, e.g., text, image, video, audio and 3D. The 3D is the most close visual modality to real-world 3D environment and carries enormous knowledge. The 3D content generation shows both academic and practical values while also presenting formidable technical challenges. This review aims to consolidate developments within the burgeoning domain of 3D content generation. Specifically, a new taxonomy is proposed that categorizes existing approaches into three types: 3D native generative methods, 2D prior-based 3D generative methods, and hybrid 3D generative methods. The survey covers approximately 60 papers spanning the major techniques. Besides, we discuss limitations of current 3D content generation techniques, and point out open challenges as well as promising directions for future work. Accompanied with this survey, we have established a project website where the resources on 3D content generation research are provided. The project page is available at https://github.com/hitcslj/Awesome-AIGC-3D.

研究动机与目标

• 通过3D原生、基于2D先验和混合方法的新型分类法，系统性地对近期3D内容生成进展进行分类。
• 对主要3D生成技术中的约60篇关键论文进行全面综述。
• 识别当前3D生成在几何质量、纹理细节、可控性以及推理速度方面的未解难题。
• 提出未来研究方向，包括用于3D生成的基模型和改进的自动化评估基准。
• 通过建立公开资源网站，为研究社区提供最新AIGC-3D材料，以支持研究工作。

提出的方法

• 提出一种三级分类法：3D原生生成方法、基于2D先验的3D生成方法和混合3D生成方法。
• 对三类方法中的60篇代表性论文进行综述，重点关注网络架构、训练范式和输入模态。
• 分析3D表示技术，包括显式表示（点云、网格、体素）和隐式表示（NeRF、高斯点云投射、有符号距离函数）。
• 研究基于扩散的方法，包括用于NeRF优化的得分蒸馏采样（SDS）和多视角扩散先验。
• 引入并讨论新兴的4D（动态）内容生成流水线，如静态到动态生成和视频到3D重建。
• 评估现有基准并提出改进建议，包括自动化人类对齐评估器和综合几何与纹理保真度的度量标准。

实验结果

研究问题

• RQ1 如何系统性地对3D内容生成方法进行分类，以反映当前的技术格局？
• RQ2 3D原生、基于2D先验和混合3D生成方法之间的核心技术差异与权衡是什么？
• RQ3 当前3D生成在几何质量、纹理细节、可控性和推理速度方面的主要局限性是什么？
• RQ4 如何收集并利用大规模、多样化的3D数据集，以提升无监督和自监督3D生成性能？
• RQ5 基模型和多模态大语言模型在未来的AIGC-3D系统中，如何实现程序化3D设计和高层控制？

主要发现

• 综述指出，由于3D数据稀缺，基于2D先验的方法，特别是利用预训练图像扩散模型的方法，已成为主流。
• 尽管3D原生生成方法在直接生成3D内容方面具有潜力，但受限于大规模3D数据集的可用性，仍面临挑战。
• 混合方法如one2345++和4D-fy通过结合2D先验与3D扩散或高斯点云投射优化，实现了质量提升。
• 当前的4D生成流水线，包括4DGen和DreamGaussian4d，通过多视角扩散先验实现了更好的时间一致性与几何保真度。
• 尽管已有进展，但生成具有丰富纹理、准确材质属性和紧凑结构的高保真度网格，仍是尚未解决的关键挑战。
• 自动化评估仍不成熟，人类评估仍是黄金标准，尽管像Human-Aligned Evaluator（Wu et al., 2024）这样的工具正在出现。