[论文解读] Generation High resolution 3D model from natural language by Generative Adversarial Network

Kentaro Fukamizu, Masaaki Kondo+1 more|arXiv (Cornell University)|Jan 22, 2019

Generative Adversarial Networks and Image Synthesis参考文献 9被引用 4

一句话总结

本文提出了一种两阶段条件Wasserstein GAN框架，通过先生成低分辨率形状再将其细化为高分辨率版本，从自然语言描述生成高分辨率3D体素模型。该方法在视觉保真度和文本到形状的一致性方面均有所提升，在评估指标上实现了0.98的分类准确率和0.141的MSE，优于先前的低分辨率基线方法。

ABSTRACT

We present a method of generating high resolution 3D shapes from natural language descriptions. To achieve this goal, we propose two steps that generating low resolution shapes which roughly reflect texts and generating high resolution shapes which reflect the detail of texts. In a previous paper, the authors have shown a method of generating low resolution shapes. We improve it to generate 3D shapes more faithful to natural language and test the effectiveness of the method. To generate high resolution 3D shapes, we use the framework of Conditional Wasserstein GAN. We propose two roles of Critic separately, which calculate the Wasserstein distance between two probability distribution, so that we achieve generating high quality shapes or acceleration of learning speed of model. To evaluate our approach, we performed quantitive evaluation with several numerical metrics for Critic models. Our method is first to realize the generation of high quality model by propagating text embedding information to high resolution task when generating 3D model.

研究动机与目标

• 为解决受限于GPU显存和训练时间，从自然语言描述生成高分辨率3D模型的挑战。
• 提升生成的3D形状对文本描述的一致性，特别是在捕捉细节和颜色分布方面。
• 通过重新定义Critic网络的作用，克服高分辨率3D GAN中训练不稳定和收敛缓慢的问题。
• 开发一种可扩展的两阶段生成框架，首先生成粗略形状，再将其细化为高分辨率输出。
• 引入新的评估指标——文本嵌入与编码体素特征之间的分类准确率和MSE，以评估形状质量和文本对齐程度。

提出的方法

• 采用两阶段生成流程：首先从文本生成低分辨率3D体素形状，然后将其细化为高分辨率版本。
• 使用带有梯度惩罚的条件Wasserstein GAN（WGAN-GP）以稳定训练并改善模式覆盖。
• 引入一种改进的Critic网络，通过整合文本潜在向量，更准确地评估真实与生成3D形状之间的Wasserstein距离。
• 应用双分支编码器，将生成的3D体素映射回128维文本嵌入空间，实现基于MSE的保真度评估。
• 使用Wasserstein损失训练生成器，其中Critic估计真实与生成形状之间的分布距离，并结合文本条件。
• 采用64×64×64×4体素分辨率，显著高于先前工作的32×32×32×4，以提升视觉细节与真实感。

实验结果

研究问题

• RQ1 两阶段GAN框架能否有效从自然语言描述生成高分辨率3D体素模型？
• RQ2 将文本条件引入Critic网络对生成3D形状的保真度与真实感有何影响？
• RQ3 提升Critic评估分布相似性的能力是否能带来更稳定、更快的高分辨率3D GAN训练？
• RQ4 所提出的评估指标（分类准确率与MSE）在多大程度上与人类对形状质量与文本对齐的感知相关？
• RQ5 在不显著降低颜色一致性或结构保真度的前提下，能否实现高分辨率3D生成，相比低分辨率基线？

主要发现

• v1模型在3D形状分类器上实现了0.98的分类准确率，优于v0模型的0.97，表明生成形状更具真实感。
• v1模型的均方误差（MSE）为0.141，低于v0模型的0.156，表明生成体素与原始文本嵌入之间的对齐更好。
• v1模型中生成器的训练损失方差更低，表明训练动态更加稳定。
• v1模型中的Critic网络通过利用文本条件特征，实现了更一致且准确的Wasserstein距离估计。
• 视觉检查确认，高分辨率输出（64×64×64）在结构连贯性和细节表现上均优于低分辨率（32×32×32）基线。
• 该方法成功缓解了形状坍塌问题，并在各分辨率阶段保持了颜色分布的一致性，尽管观察到轻微的颜色偏移。