[논문 리뷰] Magicremover: Tuning-free Text-guided Image inpainting with Diffusion Models

Siyuan Yang, Lu Zhang외 4명|arXiv (Cornell University)|2023. 10. 04.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

MagicRemover는 마스크 없이, 모델 미세조정 없이도 텍스트 기반으로 객체를 제거하고 배경을 복원하는 테キ스트 유도 이미지 인painting 방법이다. 사전 훈련된 확산 모델을 활용하여, 수동 마스크나 모델 미세조정 없이도 텍스트 기반 설명만으로 객체 제거 및 배경 복원을 수행한다. 주의 기반 가이던스와 분류기 최적화를 통해 노이즈 제거 안정성과 객체 제거 정확도를 향상시켜, 정량적 지표와 사용자 연구에서 최고 성능을 기록한다.

ABSTRACT

Image inpainting aims to fill in the missing pixels with visually coherent and semantically plausible content. Despite the great progress brought from deep generative models, this task still suffers from i. the difficulties in large-scale realistic data collection and costly model training; and ii. the intrinsic limitations in the traditionally user-defined binary masks on objects with unclear boundaries or transparent texture. In this paper, we propose MagicRemover, a tuning-free method that leverages the powerful diffusion models for text-guided image inpainting. We introduce an attention guidance strategy to constrain the sampling process of diffusion models, enabling the erasing of instructed areas and the restoration of occluded content. We further propose a classifier optimization algorithm to facilitate the denoising stability within less sampling steps. Extensive comparisons are conducted among our MagicRemover and state-of-the-art methods including quantitative evaluation and user study, demonstrating the significant improvement of MagicRemover on high-quality image inpainting. We will release our code at https://github.com/exisas/Magicremover.

연구 동기 및 목표

• 부드러운 경계나 투명도를 가진 객체의 경우 수동 마스크가 비현실적이므로, 마스크 기반 이미지 인painting의 한계를 해결하기 위해.
• 이미지 인painting에서 비용이 많이 드는 데이터 수집과 모델 미세조정이 필요 없도록, 사전 훈련된 확산 모델을 제로샷 방식으로 활용하여.
• 이진 마스크가 아닌 자연어 지시를 통해 사용자 친화적이고 영리한 객체 제거를 가능하게 하기 위해.
• 확산 샘플링 중 노이즈 제거 과정을 안정화시켜, 인paint된 영역의 일관성과 현실감을 향상시키기 위해.

제안 방법

• 입력 이미지와 텍스트 프롬프트를 사전 훈련된 텍스트-이미지 확산 모델의 잠재 공간에 투영하여 상호주의 주의 및 자기주의 주의 맵을 계산한다.
• 목표 객체에 해당하는 특징을 억제하고 배경 생성을 강화하기 위해 주의 맵을 수정하는 주의 기반 가이던스 전략을 도입한다.
• 노이즈 제거 과정 중에 분류기 최적화 알고리즘을 적용하여 샘플링 단계 수를 줄이면서도 객체 제거 정확도와 안정성을 향상시킨다.
• 역확산 과정을 사용하여 입력 이미지의 잠재 표현을 재구성함으로써, 주의 기반 메커니즘을 통해 목표 객체의 정밀한 국소화를 가능하게 한다.
• 추가 학습이나 미세조정을 전혀 피하고, 사전 훈련된 확산 모델의 내부 표현에만 의존한다.
• 주의 맵을 활용하여 노이즈 제거 과정을 목표 영역 삭제 및 배경의 맥락적 복원을 향해 유도함으로써 소프트 객체 제거를 가능하게 한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 확산 모델을 사용하여, 미세조정이나 보조 학습 없이 제로샷 방식의 텍스트 기반 이미지 인painting을 수행할 수 있는가?
• RQ2 확산 모델의 주의 맵을 어떻게 조작하여 객체 제거 및 배경 복원을 효과적으로 유도할 수 있는가?
• RQ3 분류기 최적화가 노이즈 제거 안정성을 향상시키고 샘플링 단계를 줄일 수 있는가, 동시에 높은 품질의 인painting 결과를 유지할 수 있는가?
• RQ4 기존의 마스크 기반 접근 방식과 비교해, 경계가 모호하거나 부드러운 객체에 대해 이 방법은 어떻게 성능을 내는가?
• RQ5 주의 가이던스 구성 요소가 인paint된 출력의 정확도와 일관성에 어떤 영향을 미치는가?

주요 결과

• COO 2017 검증 세트에서 MagicRemover는 SD-Inpaint와 LaMa보다 낮은 Fréchet Inception Distance (FID)를 기록하여 이미지 품질과 분포 유사성 향상을 나타낸다.
• Inst-Inpaint와 비교해 MagicRemover는 잔여 그림자 문제를 피하고 객체 인식 정확도를 향상시켜 더 낮은 FID를 기록한다.
• 30명의 참가자들이 참여한 사용자 연구 결과, MagicRemover는 선호도 순위에서 다수의 표를 확보하여, 더 뛰어난 시각적 품질과 현실감을 입증한다.
• 절단 실험 결과, 자기주의 주의 가이던스는 원본 이미지 유사성을 유지하는 반면, 제약 조건 완화 및 재가중 편향 조정이 배경 일관성을 향상시킨다.
• 분류기 최적화는 낮은 샘플링 단계(예: 50단계)에서도 객체 제거 성능을 크게 향상시켜 잔여 객체 정보를 감소시키고 편집 능력을 강화한다.
• 유리나 거품과 같이 반투명한 객체를 성공적으로 제거하여, 이는 이진 마스크 기반 방법이 경계가 명확하지 않아 어려움을 겪는 문제를 해결한다.