[论文解读] Debiasing Scores and Prompts of 2D Diffusion for View-consistent Text-to-3D Generation

Susung Hong, Donghoon Ahn+1 more|arXiv (Cornell University)|Mar 27, 2023

Advanced Vision and Imaging被引用 5

一句话总结

本论文提出Debiased Score Distillation Sampling（D-SDS），一种通过解决2D扩散模型得分中的偏差和冲突提示来提升零样本文本到3D生成中视图一致性的方法。该方法通过动态截断实现得分去偏，并利用语言模型分析实现提示去偏，以减少如Janus问题等伪影，实现最低计算开销下的SOTA 3D一致性表现。

ABSTRACT

Existing score-distilling text-to-3D generation techniques, despite their considerable promise, often encounter the view inconsistency problem. One of the most notable issues is the Janus problem, where the most canonical view of an object ( extit{e.g}., face or head) appears in other views. In this work, we explore existing frameworks for score-distilling text-to-3D generation and identify the main causes of the view inconsistency problem -- the embedded bias of 2D diffusion models. Based on these findings, we propose two approaches to debias the score-distillation frameworks for view-consistent text-to-3D generation. Our first approach, called score debiasing, involves cutting off the score estimated by 2D diffusion models and gradually increasing the truncation value throughout the optimization process. Our second approach, called prompt debiasing, identifies conflicting words between user prompts and view prompts using a language model, and adjusts the discrepancy between view prompts and the viewing direction of an object. Our experimental results show that our methods improve the realism of the generated 3D objects by significantly reducing artifacts and achieve a good trade-off between faithfulness to the 2D diffusion models and 3D consistency with little overhead. Our project page is available at~\url{https://susunghong.github.io/Debiased-Score-Distillation-Sampling/}.

研究动机与目标

• 识别基于得分蒸馏的文本到3D生成中视图不一致的根本原因，特别是Janus问题。
• 分析嵌入在2D扩散模型中的偏差以及用户提示与视图提示之间的语义冲突如何导致3D伪影与不一致。
• 开发一种轻量化、高效的方法，在无需3D监督或额外优化步骤的情况下提升3D一致性。
• 通过动态得分与提示去偏，实现2D忠实度与3D结构一致性的更好权衡。

提出的方法

• 提出通过动态得分截断实现得分去偏，其中截断阈值在优化过程中逐步提高，以平衡2D忠实度与3D一致性。
• 引入提示去偏方法，利用掩码语言模型检测并解决用户提示与视图提示之间的语义冲突。
• 通过计算用户提示与视图提示中词语之间的点互信息，识别并缓解矛盾术语（如猫的提示中的'smiling'）。
• 调整视图提示的范围，使其更好地与相机位姿分配对齐，减少语义错位。
• 采用可微分的、自粗到精的优化策略，利用扩散模型中去噪过程的自然进展。
• 利用扩散模型中的基于得分的公式，通过去噪网络计算2D得分，实现基于梯度的3D优化。

Figure 1: Comparison between the baseline (SJC [ 27 ] ) and ours (Debiased Score Distillation Sampling; D-SDS). Our debiasing methods qualitatively reduce view inconsistencies in zero-shot text-to-3D generation and the so-called Janus problem .

实验结果

研究问题

• RQ1 在基于2D扩散的文本到3D生成中，视图不一致问题（特别是Janus问题）的根本原因是什么？
• RQ2 2D扩散模型得分中的偏差以及冲突的提示语义如何导致3D伪影？
• RQ3 动态得分截断能否改善2D忠实度与3D一致性之间的权衡？
• RQ4 通过语言模型实现的提示去偏能否减少用户提示与视图提示之间的语义冲突？
• RQ5 所提出的方法是否能在无3D监督的情况下，对多样化文本提示实现一致的3D生成？

主要发现

• 所提出的D-SDS方法显著减少了Janus问题及生成3D物体中的伪影（如多张脸或额外肢体）。
• 仅使用提示去偏可减少但无法完全消除伪影（如额外耳朵），表明需要结合得分与提示去偏。
• 动态得分截断在2D忠实度与3D一致性之间实现更优平衡，避免像素化同时消除伪影。
• 该方法提升了生成一致3D物体的成功率，尤其在复杂或模糊提示（如'带大把手的马克杯'）下表现更优。
• 定性结果表明，该方法在多样化提示（如'majestic giraffe'和'monkey eating ramen'）下均能生成一致且逼真的3D结果。
• 该方法在不同框架中具有泛化能力，在DreamFusion、Magic3D和ProlificDreamer上均表现有效，而不仅限于基线SJC。

Figure 2: Illustration of our framework. We propose prompt and score debiasing techniques to estimate robust and unbiased gradients of the 3D parameters w.r.t. the viewpoints.