[論文レビュー] Re-imagine the Negative Prompt Algorithm: Transform 2D Diffusion into 3D, alleviate Janus problem and Beyond

Mohammadreza Armandpour, Ali Sadeghian+3 more|arXiv (Cornell University)|Apr 11, 2023

Generative Adversarial Networks and Image Synthesis被引用数 22

ひとこと要約

本論文は Perp-Neg を紹介する。訓練を要さないネガティブプロンプトのサンプリング手法で、垂直方向の勾配を用いてネガティブプロンプトを主プロンプトからより分離し、2D でのビュー条件付けを改善し、3D DreamFusion における Janus 問題を緩和する。

ABSTRACT

Although text-to-image diffusion models have made significant strides in generating images from text, they are sometimes more inclined to generate images like the data on which the model was trained rather than the provided text. This limitation has hindered their usage in both 2D and 3D applications. To address this problem, we explored the use of negative prompts but found that the current implementation fails to produce desired results, particularly when there is an overlap between the main and negative prompts. To overcome this issue, we propose Perp-Neg, a new algorithm that leverages the geometrical properties of the score space to address the shortcomings of the current negative prompts algorithm. Perp-Neg does not require any training or fine-tuning of the model. Moreover, we experimentally demonstrate that Perp-Neg provides greater flexibility in generating images by enabling users to edit out unwanted concepts from the initially generated images in 2D cases. Furthermore, to extend the application of Perp-Neg to 3D, we conducted a thorough exploration of how Perp-Neg can be used in 2D to condition the diffusion model to generate desired views, rather than being biased toward the canonical views. Finally, we applied our 2D intuition to integrate Perp-Neg with the state-of-the-art text-to-3D (DreamFusion) method, effectively addressing its Janus (multi-head) problem. Our project page is available at https://Perp-Neg.github.io/

研究の動機と目的

• 正のプロンプトと負のプロンプトが重なるとき、現行のネガティブプロンプトの限界を特定する。
• 主概念を損なうことなくネガティブプロンプトを使用する訓練不要の手法を開発する。
• DreamFusion 統合を通じて、ビュー条件付けされた 2D 生成の改善と 3D における Janus 問題の低減を実証する。

提案手法

• Perp-Neg を、ノイズ除去スコアの垂直成分を用いてネガティブプロンプトを主正のプロンプトから分離するサンプリング手法として定義する。
• 各ネガティブデノイジング成分を主正成分と直交する領域へ射影して、ネガティブプロンプトの集合へ一般化する（Equation 8）。
• 2Dおよび3D生成時に、SDSベースの損失を Perp-Neg ガイド項で置換または補強する（Equation 11 および related definitions）。
• View conditioning を適用して、ビューを意識した重み付きの正/負プロンプト集合を設計することで、バック/サイド/フロントのターゲットビューを生成するよう Perp-Neg を適用する。
• 2D ディフュージョン prior を所望のビューで3D 再構成に条件付けすることで Janus 問題に対処するため、Stable DreamFusion に Perp-Neg を統合する（Score Distillation Sampling の変種を介して）。
• 忠実度の改善と Janus の緩和を検証するために、定量的な 2D のビューアラインメント実験と 3D DreamFusion 実験を実施する。

実験結果

リサーチクエスチョン

• RQ1 正のプロンプトと負のプロンプトが重なると、拡散モデルのプロンプト忠実度が低下するか、Perp-Neg はそれを緩和できるか。
• RQ2 訓練不要の垂直勾配サンプリング手法は、2D のビュー条件付き生成を改善し、テキストから3D へのパイプラインにおける Janus 問題を低減するか。
• RQ3 Perp-Neg を DreamFusion にどの程度効果的に統合して、ビュー条件付けされた3D出力を制約できるか。
• RQ4 Perp-Neg を使用した場合の 2D のビュー忠実度と 3D のビュー一貫性の実証的利得は、素のサンプリングや他のベースラインと比べてどうか。

主な発見

• Perp-Neg は、2D プロンプトで要求されたビューの生成成功率を、 vanilla Stable Diffusion および CEBM ベースラインと比べて大幅に向上させる（Side view: 73.1%、Back view: 40.4%）。
• CEBM は性能が重なり時に低下するが、Perp-Neg は重なりを処理し、主要な意味内容を保持する。
• 3D DreamFusion 実験では、Perp-Neg が Janus アーティファクトを低減し、“a corgi” のようなプロンプトでも正しいビュー忠実度の可能性を高める（非 Perp-Neg 実行と比較して）。
• Perp-Neg はビュー補間と条件付けの改善を実現し、プロンプトで指定された視点とより正確に整合させる。
• 本手法は訓練不要で、ファインチューニングなしで事前学習済み拡散モデルに適用できる。
• 実験は、2D プロンプト忠実度の改善が3Dのビュー一貫性の向上と Janus 問題の標準ビューバイアスの低減につながることを示す。