[논문 리뷰] Re-imagine the Negative Prompt Algorithm: Transform 2D Diffusion into 3D, alleviate Janus problem and Beyond

Mohammadreza Armandpour, Ali Sadeghian외 3명|arXiv (Cornell University)|2023. 04. 11.

Generative Adversarial Networks and Image Synthesis인용 수 22

한 줄 요약

이 논문은 Perp-Neg를 소개합니다. 이는 train- free negative-prompt 샘플링 방법으로, 서로 직교하는 그래디언트를 사용하여 음성 프롬프트와 주요 프롬프트를 더 잘 구분하고, 2D에서의 뷰 컨디셔닝을 개선하며 3D DreamFusion에서 Janus 문제를 완화합니다.

ABSTRACT

Although text-to-image diffusion models have made significant strides in generating images from text, they are sometimes more inclined to generate images like the data on which the model was trained rather than the provided text. This limitation has hindered their usage in both 2D and 3D applications. To address this problem, we explored the use of negative prompts but found that the current implementation fails to produce desired results, particularly when there is an overlap between the main and negative prompts. To overcome this issue, we propose Perp-Neg, a new algorithm that leverages the geometrical properties of the score space to address the shortcomings of the current negative prompts algorithm. Perp-Neg does not require any training or fine-tuning of the model. Moreover, we experimentally demonstrate that Perp-Neg provides greater flexibility in generating images by enabling users to edit out unwanted concepts from the initially generated images in 2D cases. Furthermore, to extend the application of Perp-Neg to 3D, we conducted a thorough exploration of how Perp-Neg can be used in 2D to condition the diffusion model to generate desired views, rather than being biased toward the canonical views. Finally, we applied our 2D intuition to integrate Perp-Neg with the state-of-the-art text-to-3D (DreamFusion) method, effectively addressing its Janus (multi-head) problem. Our project page is available at https://Perp-Neg.github.io/

연구 동기 및 목표

• 양성 프롬프트와 음성 프롬프트가 겹칠 때 현재 음성 프롬프트의 한계 식별.
• 주요 컨셉을 해치지 않으면서 음성 프롬프트를 사용할 수 있는 학습 없는 방법 개발.
• DreamFusion 통합을 통해 2D에서 뷰 조건화가 개선되고 3D에서 Janus 문제의 감소를 시연.

제안 방법

• Perp-Neg를 denoising 점수의 직교 성분을 사용해 음성 프롬프트를 주요 양성 프롬프트에서 분리하는 샘플링 방식으로 정의합니다.
• 주요 양성 성분에 수직인 공간으로 각 음성 denoising 성분을 투사하여 음성 프롬프트의 집합으로 일반화합니다(Equation 8).
• 2D 및 3D 생성 중 SDS 기반 손실을 Perp-Neg 안내 용어로 교체하거나 보강합니다(Equation 11 및 관련 정의).
• 뷰 인식 가중치를 가진 긍정/부정 프롬프트 세트를 설계하여 2D 뷰 컨디셔닝을 적용하고 대상 백/사/전 뷰를 생성합니다.
• Janus 문제를 해결하기 위해 Stable DreamFusion에 Perp-Neg를 통합하여 3D 재구성에서 원하는 뷰에 2D 확산 사전 조건화를 적용합니다(Score Distillation Sampling 변형을 통해).
• 정량적 2D 뷰 정렬 실험 및 3D DreamFusion 실험을 통해 충실도 개선과 Janus 완화를 검증합니다.

실험 결과

연구 질문

• RQ1 양성 프롬프트와 음성 프롬프트가 겹칠 때 확산 모델에서 프롬프트 충실도가 저하될 수 있으며, Perp-Neg가 이를 완화할 수 있는가?
• RQ2 학습 없는 직교 그래디언트 샘플링 방식이 2D에서의 뷰 조건화 생성향상을 가져오고 텍스트-투-3D 파이프라인의 Janus 문제를 감소시키는가?
• RQ3 Perp-Neg를 DreamFusion과 얼마나 효과적으로 통합하여 뷰-조건화된 3D 출력을 제약할 수 있는가?
• RQ4 Perp-Neg를 사용했을 때 vanilla 샘플링 및 기타 기준선과 비교하여 2D 뷰 충실도 및 3D 뷰 일관성에 어떤 실증적 이득이 있는가?

주요 결과

• Perp-Neg는 2D 프롬프트에서 요청된 뷰 생성 성공률을 vanilla Stable Diffusion 및 CEBM 기준선 대비 크게 향상시킵니다(Side view: 73.1%, Back view: 40.4%).
• CEBM은 양성 및 음성 프롬프트가 겹칠 때 성능이 저하되며, Perp-Neg는 겹침을 처리하고 주요 의미 내용을 보존합니다.
• 3D DreamFusion 실험에서 Perp-Neg는 Janus 아트를 감소시켜 ‘a corgi’와 같은 프롬프트에서 올바른 뷰 충실도 가능성을 높였습니다(비 Perp-Neg 실행과 비교).
• Perp-Neg는 뷰 보간 및 개선된 컨디셔닝을 가능하게 하여 프롬프트가 명시한 시점과 더 정확하게 정렬될 수 있습니다.
• 이 방법은 학습 없이 사전 학습된 확산 모델에 적용 가능하며 미세 조정이 필요 없습니다.
• 실험은 2D 프롬프트 충실도의 개선이 3D 뷰 일관성 및 Janus 문제의 대표적 뷰 바이어스 감소로 이어진다는 것을 보여줍니다.