[논문 리뷰] Understanding and Mitigating Copying in Diffusion Models

Gowthami Somepalli, Vasu Singla외 3명|arXiv (Cornell University)|2023. 05. 31.

Generative Adversarial Networks and Image Synthesis인용 수 17

한 줄 요약

본 논문은 텍스트 조건 확산 모델에서의 암기를 분석하고, 학습 이미지 중복뿐만 아니라 캡션 다양성이 복제를 주도한다는 것을 보이며, 복제를 완화하기 위한 학습 시점 및 추론 시점 전략을 제안한다.

ABSTRACT

Images generated by diffusion models like Stable Diffusion are increasingly widespread. Recent works and even lawsuits have shown that these models are prone to replicating their training data, unbeknownst to the user. In this paper, we first analyze this memorization problem in text-to-image diffusion models. While it is widely believed that duplicated images in the training set are responsible for content replication at inference time, we observe that the text conditioning of the model plays a similarly important role. In fact, we see in our experiments that data replication often does not happen for unconditional models, while it is common in the text-conditional case. Motivated by our findings, we then propose several techniques for reducing data replication at both training and inference time by randomizing and augmenting image captions in the training set.

연구 동기 및 목표

• 이미지 중복을 넘어 텍스트-투-이미지 확산 모델에서 데이터 메모리화의 원인을 조사한다.
• 테스트 시 캡션 조건화가 복제에 미치는 영향을 정량화한다.
• 복제를 줄이면서 학습 및 추론 시나리오를 평가하고 완화 전략을 개발한다.

제안 방법

• Stable Diffusion v2.1을 기본으로 사용하고, 서로 다른 중복 설정을 가진 소규모 데이터 세트에서 U-Net을 미세조정한다.
• 생성 샘플의 데이터 세트 유사성 및 FID를 통해 메모리화를 평가한다.
• 텍스트 조건화 스타일을 고정, 클래스 캡션, BLIP 생성, 무작위로 변화시켜 조건화가 메모리에 미치는 영향을 연구한다.
• conditioning 강도를 평가하기 위해 텍스트 인코더를 고정/미세조정 방식으로 학습한다.
• 완전 중복과 부분 중복(이미지당 여러 캡션)을 비교하여 캡션 다양성이 메모리에 미치는 영향을 이해한다.
• 학습 및 추론 시 다중 캡션, 임베딩의 노이즈 추가, 랜덤 캡션 대체 등 완화 전략을 제안하고 테스트한다.

실험 결과

연구 질문

• RQ1 학습 데이터의 데이터 중복이 확산 모델에서의 복제를 어느 정도 설명하는가?
• RQ2 테스트 시 텍스트 조건화가 확산 모델의 복제에 어떤 영향을 미치는가?
• RQ3 학습 및/또는 추론 중 캡션 다양성을 증가시키면 이미지 품질을 크게 손상시키지 않으면서 메모리화를 줄일 수 있는가?
• RQ4 복제 비율을 최소화하면서 생성 성능을 보존하는 학습 규칙 및 데이터 구성이 무엇인가?

주요 결과

• 데이터 중복은 복제에 기여하지만, 특히 텍스트 조건 모델에서의 시험 시 복제를 완전히 설명하지는 못한다.
• 캡션 다양성은 메모리에 강하게 영향을 미치며, 더 다양한 또는 무작위 캡션은 이미지 콘텐츠와의 상관관계에 따라 메모리화를 증가시키거나 감소시킬 수 있다.
• 부분 중복(이미지당 여러 캡션)은 전체 중복에 비해 복제를 현저히 완화시키며, 종종 FID의 큰 하락 없이도 달성된다.
• 훈련 시 완화책(특히 다중 캡션)이 추론 시 완화보다 메모리 감소에 더 효과적이며 생성 품질에 미치는 영향이 작다.
• 더 길거나 더 많은 데이터로 학습하면 캡션이 매우 특정하면 메모리화가 증가할 수 있어 모델 품질과 메모리 간의 균형이 필요하다.
• 이미지의 복잡도와 조건화가 기억에 미치는 영향에 상호작용이 있으며, 더 간단한 이미지가 더 많이 암기하는 경향이 있다.