[論文レビュー] Debiasing Scores and Prompts of 2D Diffusion for View-consistent Text-to-3D Generation

Susung Hong, Donghoon Ahn+1 more|arXiv (Cornell University)|Mar 27, 2023

Advanced Vision and Imaging被引用数 5

ひとこと要約

本稿では、2D拡散モデルのスコアに生じるバイアスと矛盾するプロンプトを是正することで、ゼロショットテキストから3D生成におけるビューの一貫性を向上させるDebiased Score Distillation Sampling (D-SDS) を提案する。動的トリンケーションによるスコアの是正と、言語モデル分析を用いたプロンプトの是正を導入し、ジャナス問題のようなアーティファクトを低減し、最小限のオーバーヘッドで最先端の3D一貫性を達成する。

ABSTRACT

Existing score-distilling text-to-3D generation techniques, despite their considerable promise, often encounter the view inconsistency problem. One of the most notable issues is the Janus problem, where the most canonical view of an object ( extit{e.g}., face or head) appears in other views. In this work, we explore existing frameworks for score-distilling text-to-3D generation and identify the main causes of the view inconsistency problem -- the embedded bias of 2D diffusion models. Based on these findings, we propose two approaches to debias the score-distillation frameworks for view-consistent text-to-3D generation. Our first approach, called score debiasing, involves cutting off the score estimated by 2D diffusion models and gradually increasing the truncation value throughout the optimization process. Our second approach, called prompt debiasing, identifies conflicting words between user prompts and view prompts using a language model, and adjusts the discrepancy between view prompts and the viewing direction of an object. Our experimental results show that our methods improve the realism of the generated 3D objects by significantly reducing artifacts and achieve a good trade-off between faithfulness to the 2D diffusion models and 3D consistency with little overhead. Our project page is available at~\url{https://susunghong.github.io/Debiased-Score-Distillation-Sampling/}.

研究の動機と目的

• スコア分散型テキストから3D生成におけるビュー一貫性の欠如の根本的原因、特にジャナス問題を特定すること。
• 2D拡散モデルに埋め込まれたバイアスと、ユーザーのプロンプトとビューのプロンプトの間の矛盾する意味的要因が、3Dアーティファクトと一貫性の欠如にどのように寄与するかを分析すること。
• 3Dの監視情報や追加の最適化ステップを必要とせず、軽量かつ効果的な方法で3D一貫性を向上させること。
• 動的スコアとプロンプトの是正を通じて、2Dの忠実性と3D構造的一致性の間のより良いトレードオフを達成すること。

提案手法

• 最適化の過程で徐々に増加するトリンケーション閾値を用いた動的スコアクリッピングによるスコアの是正を提案し、2Dの忠実性と3Dの一貫性のバランスを取ること。
• マスクド言語モデルを用いてユーザーのプロンプトとビューのプロンプトの間の意味的矛盾を検出し、是正するプロンプトの是正を導入すること。
• ユーザーのプロンプトとビューのプロンプトの単語間のポイントワイズ相互情報量を計算し、『笑顔』のような矛盾する語を特定・是正すること。
• カメラポーズの割り当てと整合性を高めるために、ビューのプロンプトの範囲を調整し、意味的不整合を低減すること。
• 拡散モデルのノイズ除去の自然な進行を活用する微分可能で粗いものから細かいものへの最適化戦略を採用すること。
• 拡散モデルのスコアに基づく定式化を用い、denoiserネットワークを通じて2Dスコアを計算し、勾配ベースの3D最適化を可能にすること。

Figure 1: Comparison between the baseline (SJC [ 27 ] ) and ours (Debiased Score Distillation Sampling; D-SDS). Our debiasing methods qualitatively reduce view inconsistencies in zero-shot text-to-3D generation and the so-called Janus problem .

実験結果

リサーチクエスチョン

• RQ1 2D拡散ベースのテキストから3D生成におけるビュー一貫性の欠如、特にジャナス問題の原因は何か？
• RQ2 2D拡散モデルのスコアに埋め込まれたバイアスと、矛盾するプロンプトの意味的要因が、3Dアーティファクトにどのように寄与するか？
• RQ3 動的スコアクリッピングは、2Dの忠実性と3Dの一貫性のトレードオフを改善できるか？
• RQ4 言語モデルによるプロンプトの是正は、ユーザーとビューのプロンプト間の意味的矛盾を低減できるか？
• RQ5 提案手法は、3D監視情報なしに多様なテキストプロンプトに対して一貫性のある3D生成を達成できるか？

主な発見

• 提案されたD-SDS手法は、ジャナス問題や複数の顔、余分な四肢といったアーティファクトを顕著に低減する。
• プロンプトの是正のみではアーティファクト（例：余分な耳）が完全に除去されないため、スコアとプロンプトの両方の是正が必要であることが示された。
• 静的クリッピングに比べ、動的スコアクリッピングは3D一貫性と2D忠実性のバランスをより良く実現し、ピクセル化を回避しながらアーティファクトを除去する。
• 特に『大きなハンドルを持つマグカップ』のような複雑または曖昧なプロンプトに対して、一貫性のある3Dオブジェクト生成の成功率が向上する。
• 定性的な結果では、『雄大なキリン』や『ラーメンを食べているサル』といった多様なプロンプトに対しても、一貫性があり現実的な3D生成が得られている。
• このアプローチはフレームワークに一般化可能であり、SJCをはじめ、DreamFusion、Magic3D、ProlificDreamerでも有効であることが示された。

Figure 2: Illustration of our framework. We propose prompt and score debiasing techniques to estimate robust and unbiased gradients of the 3D parameters w.r.t. the viewpoints.