[논문 리뷰] Edit Everything: A Text-Guided Generative System for Images Editing

Defeng Xie, Ruichen Wang외 6명|arXiv (Cornell University)|2023. 04. 27.

Video Analysis and Summarization인용 수 7

한 줄 요약

Edit Everything은 Segment Anything, CLIP, 및 Stable Diffusion을 결합해 텍스트 프롬프트로 이미지를 편집하며, 중국어 프롬프트와 복합 작업에 대한 반복 편집에 중점을 둡니다; 코드가 공개 되어 있습니다.

ABSTRACT

We introduce a new generative system called Edit Everything, which can take image and text inputs and produce image outputs. Edit Everything allows users to edit images using simple text instructions. Our system designs prompts to guide the visual module in generating requested images. Experiments demonstrate that Edit Everything facilitates the implementation of the visual aspects of Stable Diffusion with the use of Segment Anything model and CLIP. Our system is publicly available at https://github.com/DefengXie/Edit_Everything.

연구 동기 및 목표

• 분할, 순위 매김, 확산 기반 생성을 결합한 모듈형 파이프라인을 통해 텍스트로 이미지를 편집하는 것을 가능하게 한다.
• 이미지를 세분화하기 위해 SAM을 활용하고 소스 프롬프트를 바탕으로 타깃 세그먼트를 선택하기 위해 CLIP를 활용한다.
• 선정된 세그먼트를 대체하기 위해 타깃 프롬프트로 Stable Diffusion을 안내하여 높은 리얼리즘을 달성한다.
• 중국어 코퍼스로 CLIP과 Stable Diffusion을 학습시켜 중국어-language 능력을 강화한다.
• 복합 프롬프트와 객체에 대해 점진적이고 단계적인 편집 접근 방식을 제공한다.

제안 방법

• Segment the input image with Segment Anything Model (SAM).
• Rank segments using a CLIP model based on a given source prompt and select the highest-scoring target segment.
• Generate the replacement object with Stable Diffusion guided by a target prompt.

실험 결과

연구 질문

• RQ1 텍스트 프롬프트가 세그먼테이션 기반 타깃팅을 통해 확산 모델을 특정 세그먼트 편집으로 이끌 수 있는가?
• RQ2 연속적이고 점진적인 편집 과정이 복합 프롬프트 및 다중 객체 편집을 얼마나 잘 처리하는가?
• RQ3 중국어 프롬프트와 시나리오를 위한 중국어 CLIP 및 중국어 Stable Diffusion 학습의 이점은 무엇인가?

주요 결과

• Edit Everything은 이미지의 어떤 객체도 편집하고 다양한 일러스트레이션 스타일에 높은 리얼리즘으로 적응할 수 있다.
• 시스템은 복잡한 프롬프트 준수를 달성하기 위해 단계적이고 반복적인 대체를 지원한다.
• 중국어 모델은 중국어 시나리오에서 오픈 소스 대안보다 더 우수한 성능을 보인다.
• 제로샷 생성이 가능하며, 반복적 정제가 복잡한 프롬프트에 대한 정렬을 개선한다.