[논문 리뷰] Editing Implicit Assumptions in Text-to-Image Diffusion Models

Hadas Orgad, Bahjat Kawar외 1명|arXiv (Cornell University)|2023. 03. 14.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 텍스트-이미지 확산 모델의 암묵적 세계관 가정을 수정하기 위해 모델 파라미터의 2.2%만 수정하는 매우 효율적인 방법인 TIME(Text-to-Image Model Editing)을 제안한다. 이 방법은 교차 attention 투영 행렬을 수정하여 원본 프롬프트(예: '장미 한 아름')를 목적 프롬프트(예: '파란 장미 한 아름')와 일치시켜, 단일 GPU에서 1초 이내로 빠르고 기억을 잃지 않는 편집을 가능하게 하며, 생성 품질과 관련 프롬프트로의 일반화 능력을 유지한다.

ABSTRACT

Text-to-image diffusion models often make implicit assumptions about the world when generating images. While some assumptions are useful (e.g., the sky is blue), they can also be outdated, incorrect, or reflective of social biases present in the training data. Thus, there is a need to control these assumptions without requiring explicit user input or costly re-training. In this work, we aim to edit a given implicit assumption in a pre-trained diffusion model. Our Text-to-Image Model Editing method, TIME for short, receives a pair of inputs: a "source" under-specified prompt for which the model makes an implicit assumption (e.g., "a pack of roses"), and a "destination" prompt that describes the same setting, but with a specified desired attribute (e.g., "a pack of blue roses"). TIME then updates the model's cross-attention layers, as these layers assign visual meaning to textual tokens. We edit the projection matrices in these layers such that the source prompt is projected close to the destination prompt. Our method is highly efficient, as it modifies a mere 2.2% of the model's parameters in under one second. To evaluate model editing approaches, we introduce TIMED (TIME Dataset), containing 147 source and destination prompt pairs from various domains. Our experiments (using Stable Diffusion) show that TIME is successful in model editing, generalizes well for related prompts unseen during editing, and imposes minimal effect on unrelated generations.

연구 동기 및 목표

• 학습 데이터로부터 잘못된, 오래된, 또는 편향된 암묵적 가정을 학습하는 텍스트-이미지 확산 모델 문제를 해결하기 위해.
• 재학습, 미세조정, 또는 각 생성 시 사용자 입력 없이 이러한 가정을 편집할 수 있도록 하기 위해.
• 전체 생성 품질을 유지하면서 치명적인 기억 상실을 피하기 위해, 모델 파라미터의 소수의 부분만 수정하는 방법을 개발하기 위해.
• 다양한 도메인과 개념에서 모델 편집 성능을 평가하기 위한 벤치마크 데이터셋(TIMED)을 만들기 위해.
• 편집이 관련 프롬프트로 일반화되면서도 관련이 없는 생성물에는 영향을 주지 않도록 보장하기 위해.

제안 방법

• TIME는 확산 모델의 교차 attention 레이어에 있는 투영 행렬을 편집하여, 텍스트 토큰을 시각적 특징으로 매핑한다.
• 원본 프롬프트의 임베딩과 목적 프롬프트의 임베딩 간 거리가 교차 attention 공간에서 최소화되도록 하는 파라미터 업데이트를 계산한다.
• 편집 강도와 원본 가중치 유지성 간 균형을 맞추기 위해 학습된 초매개변수 λp를 사용하는 단일 최적화 단계를 수행한다.
• 편집은 모든 교차 attention 레이어에 동시에 적용되며, 미세조정이나 데이터 재수집이 필요하지 않다.
• 텍스트 인코더는 수정되지 않아 언어 이해 능력이 그대로 유지된다.
• 이 방법은 계산적으로 효율적이며, 확산 모델의 파라미터 중 2.2%만 수정하고 소비자용 GPU에서 1초 이내로 완료된다.

실험 결과

연구 질문

• RQ1 재학습이나 미세조정 없이도 텍스트-이미지 확산 모델의 암묵적 가정을 효율적으로 편집할 수 있는가?
• RQ2 편집 중에 볼 수 없었던 관련 프롬프트로의 일반화 능력은 얼마나 잘 유지되는가?
• RQ3 편집 과정이 모델의 전체 생성 품질과 관련 없는 프롬프트에 대한 성능을 유지하는가?
• RQ4 성별 스테레오타입(예: 직업 표현에서의 성별 편향)과 같은 사회적 편향을 어느 정도 완화할 수 있는가?
• RQ5 특정 속성(예: 장미의 색상)에 대해 모델 행동을 변경하는 데 얼마나 효과적인가, 동시에 충실도를 유지하는가?

주요 결과

• TIME는 스테이블 디퓨전 모델의 암묵적 가정을 성공적으로 편집하여, 전형적인 남성 직업에서 여성 인물의 비율을 기준선 1.6%에서 평균 11.2%로 감소시켰으며, 대부분의 직업에서 Δp가 0.15 이하였다.
• 간호사에 대한 기준선은 여성 비율이 100%였으나, 편집 후 92.0%로 감소했으며, Δp = 0.83 ± 0.05였다.
• 이 방법은 잘 일반화된다: '장미'를 파란색으로 편집한 후, '장미 한 아름'과 같은 관련 프롬프트는 파란 장미를 생성하지만, '팝피 필드'와 같은 관련 없는 프롬프트는 그대로 유지된다.
• 편집은 매우 효율적이며, 모델 파라미터의 2.2%만 수정하고 소비자용 GPU에서 1초 이내로 완료된다.
• 편집 후 FID 점수는 안정적으로 유지되어 이미지 품질이나 생성 능력의 열화가 없음을 나타낸다.
• TIMED 데이터셋의 147개 프롬프트 쌍에 걸쳐 이 방법은 상당한 편향 완화 효과를 보였으며, 관련 없는 생성물에 대한 영향은 최소한이었다.