[논문 리뷰] Understanding the Impact of Negative Prompts: When and How Do They Take Effect?

Yuanhao Ban, Ruochen Wang외 4명|arXiv (Cornell University)|2024. 06. 05.

Resilience and Mental HealthPsychology인용 수 3

한 줄 요약

이 논문은 텍스트-이미지 확산 모델에서 음성 프롬프트의 첫 번째 종합적 분석을 제공하며, 음성 프롬프트가 잠재 공간에서 중성화 메커니즘을 통해 상당한 지연을 거쳐 작용한다는 것을 밝혀냈다. 저자들은 역확산 과정의 중간 지점에서 음성 프롬프트를 적용함으로써 모델 재학습 없이도 효과적이고 고해상도의 객체 인painting을 달성하였으며, 제거 성공률과 이미지 유사도를 각각 최대 83%와 82.6% 향상시켰다.

ABSTRACT

The concept of negative prompts, emerging from conditional generation models like Stable Diffusion, allows users to specify what to exclude from the generated images.%, demonstrating significant practical efficacy. Despite the widespread use of negative prompts, their intrinsic mechanisms remain largely unexplored. This paper presents the first comprehensive study to uncover how and when negative prompts take effect. Our extensive empirical analysis identifies two primary behaviors of negative prompts. Delayed Effect: The impact of negative prompts is observed after positive prompts render corresponding content. Deletion Through Neutralization: Negative prompts delete concepts from the generated image through a mutual cancellation effect in latent space with positive prompts. These insights reveal significant potential real-world applications; for example, we demonstrate that negative prompts can facilitate object inpainting with minimal alterations to the background via a simple adaptive algorithm. We believe our findings will offer valuable insights for the community in capitalizing on the potential of negative prompts.

연구 동기 및 목표

• 텍스트-이미지 확산 모델에서 음성 프롬프트 영향의 시기와 메커니즘을 이해하는 것.
• 음성 프롬프트가 경험적 사용을 초월해 이미지 생성에 미치는 영향에 대한 체계적인 분 析가 부족한 문제를 해결하는 것.
• 불필요한 객체를 제거하면서도 이미지의 통합성을 유지하는 제어 가능한 인painting 방법을 개발하는 것.
• 형태적 왜곡을 방지하기 위해 음성 프롬프트 적용의 최적 시기를 규명하는 것.

제안 방법

• 저자들은 확산 단계 전반에 걸친 교차 어텐션 맵을 분석하여 음성 프롬프트가 생성에 영향을 미치기 시작하는 핵심 단계를 특정한다.
• 객체 삭제 작업 동안 추정된 노이즈 패턴을 분석하여 잠재 공간의 역학을 조사한다.
• 양성 프롬프트가 콘텐츠를 렌더링한 후에야 작용하는 '지연 효과'와, 뺄셈 노이즈 상호작용을 통한 '제거를 통한 중성화' 메커니즘을 규명한다.
• 역확산 과정의 중간 지점에서 음성 프롬프트를 적용하는 새로운 인painting 전략을 제안하여 조기 간섭을 방지한다.
• 모델 재학습이나 추론 시 수정 없이, 오직 프롬프트 스케줄링에 의존한다.
• 평가에서는 COCO, CC, MSVD, Places, Vatex, Nocaps 등의 여러 데이터셋을 사용하여 GPT-4V와 인간 평가자들을 활용하며 제거 성공률, 유사도, 상대적 성능을 측정한다.

Figure 1 : Illustration on when the negative prompts attend to the "right" place. For example, we consider the face of the person as the "right place" for the "glasses" token. Every row represents an independent diffusion process where the first and the third rows show the tokens in the positive pro

실험 결과

연구 질문

• RQ1 음성 프롬프트는 확산 과정 중 언제 영향을 미치기 시작하며, 이 시기는 양성 프롬프트와 비교해 어떻게 되는가?
• RQ2 음성 프롬프트는 직접 억압를 통해, 아니면 잠재 공간의 중성화를 통해 객체 삭제를 달성하는가?
• RQ3 왜 음성 프롬프트를 조기에 적용하면 역설적인 객체 생성(역활성화) 현상이 발생하는가?
• RQ4 확산 과정의 조기 단계에서 음성 프롬프트를 적용할 경우 어떤 형태의 구조적 위험이 존재하는가?
• RQ5 간단하고 침습적이지 않은 시기 전략이 모델 수정 없이 인painting 성능을 크게 향상시킬 수 있는가?

주요 결과

• 음성 프롬프트는 양성 프롬프트가 해당 콘텐츠를 렌더링한 후에야 영향을 미치는 상당한 지연 효과를 보인다.
• 제거 과정은 잠재 공간에서 상호 상쇄(중성화) 메커니즘을 통해 이루어지며, 음성 프롬프트 노이즈가 양성 프롬프트 노이즈에서 빼어내는 방식이다.
• 조기 적용은 '역활성화'를 유도하며, 노이즈 역학에서 운동량과 유도 효과로 인해 금지된 객체가 오히려 생성되는 역설적인 현상을 초래한다.
• 음성 프롬프트 적용의 최적 시기는 역확산 과정의 중간 지점이며, 이는 형태적 손상을 최소화한다.
• 제안된 방법은 Places에서 최대 RRSR 87.20%, Vatex에서 86.44%를 달성하였으며, GPT-4V 유사도 점수는 평균 82.84%를 기록했다.
• 인간 평가를 통해 높은 이미지 유사도가 확인되었으며, 평균 비교율(CR)은 88.45%로 강력한 정성적 충실도를 입증했다.

Figure 2 : Illustration: Reverse activation. Each column shows an image generated by applying negative prompts in some specific steps which is shown at the top of the picture. In these two examples, the diffusion process without applying a negative prompt does not produce the object mentioned in the