[논문 리뷰] Anti-DreamBooth: Protecting users from personalized text-to-image synthesis

Thanh Van Le, Hao Phung외 4명|arXiv (Cornell University)|2023. 03. 27.

Generative Adversarial Networks and Image Synthesis인용 수 10

한 줄 요약

본 논문은 FSMG 및 ASPL 방법을 사용하여 개인화된 DreamBooth 맞춤화로부터 사용자를 방어하기 위해 이미지에 눈에 보이지 않는 노이즈를 추가합니다.

ABSTRACT

Text-to-image diffusion models are nothing but a revolution, allowing anyone, even without design skills, to create realistic images from simple text inputs. With powerful personalization tools like DreamBooth, they can generate images of a specific person just by learning from his/her few reference images. However, when misused, such a powerful and convenient tool can produce fake news or disturbing content targeting any individual victim, posing a severe negative social impact. In this paper, we explore a defense system called Anti-DreamBooth against such malicious use of DreamBooth. The system aims to add subtle noise perturbation to each user's image before publishing in order to disrupt the generation quality of any DreamBooth model trained on these perturbed images. We investigate a wide range of algorithms for perturbation optimization and extensively evaluate them on two facial datasets over various text-to-image model versions. Despite the complicated formulation of DreamBooth and Diffusion-based text-to-image models, our methods effectively defend users from the malicious use of those models. Their effectiveness withstands even adverse conditions, such as model or prompt/term mismatching between training and testing. Our code will be available at https://github.com/VinAIResearch/Anti-DreamBooth.git.

연구 동기 및 목표

• 개인화된 텍스트-투-이미지 합성의 위험성과 사회적 영향을 제기한다.
• DreamBooth 학습을 방해하기 위해 게시 전에 사용자 이미지를 섭동하는 능동적 방어를 제안한다.
• 확산 모델 의식 프레임워크 내에서 적대적 노이즈를 생성하는 알고리듬을 설계하고 비교한다.
• 다수의 데이터셋, 프롬프트, 모델 버전에서 방어를 평가하여 강건성을 평가한다.

제안 방법

• 섭동을 대체 DreamBooth 모델의 재구성 손실을 최대화하도록 이중 최적화로 공식화한다.
• 고정된 대리 모델을 사용해 섭동을 안내하는 Fully-trained Surrogate Model Guidance (FSMG)를 제안한다.
• 대리 모델 미세조정과 섭동 최적화를 교대로 수행하는 Alternating Surrogate and Perturbation Learning (ASPL)을 제안한다.
• 학습 중 무작위로 선택된 타임스텝에서 손실을 목표로 하여 확산 디노이징의 단계별 특성에 맞게 섭동 최적화를 적응시킨다.
• 타깃되지 않은 섭동 체계를 제공하고 강건성을 위한 타깃된 및 앙상블 변형 가능성을 논의한다.

실험 결과

연구 질문

• RQ1 눈에 보이지 않는 섭동이 DreamBooth가 확산 모델을 효과적으로 개인화하는 것을 방지할 수 있는가?
• RQ2 DreamBooth 학습을 방해하면서 이미지 품질을 보존하는 데 있어 FSMG, ASPL 등의 대리 가이드 섭동 방법은 어떻게 비교되는가?
• RQ3 프롬프트, 모델 버전 및 데이터 누설 시나리오의 변화에 방어책이 강건한가?

주요 결과

• ASPL은 두 가지 얼굴 벤치마크에서 DreamBooth 개인화 효과를 일관되게 감소시킨다.
• 섭동은 방어된 모델에서 얼굴 탐지 실패율을 높이고 신원 일치 점수를 낮춘다.
• 훈련과 테스트 간의 모델 또는 프롬프트 불일치에서도 방어 방법은 효과적이다.
• 편의적 설정에서 ASPL의 성능은 FSMG를 능가하며 프롬프트와 데이터셋 전반에 걸쳐 강건함을 보인다.
• 노이즈 예산과 프롬프트 편차를 포함한 악조건 및 제어되지 않는 설정에서도 접근법은 경쟁력을 유지한다.