[논문 리뷰] ObjectStitch: Generative Object Compositing

Yizhi Song, Zhifei Zhang외 6명|arXiv (Cornell University)|2022. 12. 02.

Generative Adversarial Networks and Image Synthesis인용 수 10

한 줄 요약

이 논문은 기하 보정, 색조 조율, 그림자 합성, 시점 합성 등을 하나의 프레임워크에서 통합하는 자기지도 학습 기반 확산 모델인 ObjectStitch를 제안한다. 이미지 유도 생성을 위한 콘텐츠 어댑터를 도입하고 데이터 증강 기법을 활용함으로써 수동 레이블링 없이도 최신 기술 수준의 현실성과 외관 충실도를 달성하며, 실제 이미지에 대한 사용자 연구에서 베이스라인을 능가한다.

ABSTRACT

Object compositing based on 2D images is a challenging problem since it typically involves multiple processing stages such as color harmonization, geometry correction and shadow generation to generate realistic results. Furthermore, annotating training data pairs for compositing requires substantial manual effort from professionals, and is hardly scalable. Thus, with the recent advances in generative models, in this work, we propose a self-supervised framework for object compositing by leveraging the power of conditional diffusion models. Our framework can hollistically address the object compositing task in a unified model, transforming the viewpoint, geometry, color and shadow of the generated object while requiring no manual labeling. To preserve the input object's characteristics, we introduce a content adaptor that helps to maintain categorical semantics and object appearance. A data augmentation method is further adopted to improve the fidelity of the generator. Our method outperforms relevant baselines in both realism and faithfulness of the synthesized result images in a user study on various real-world images.

연구 동기 및 목표

• 색조, 조명, 그림자 조정을 위한 수작업 튜닝이 필요한 다수의 분리된 단계를 포함하는 전통적 합성 파이프라인의 한계를 해결하기 위해.
• 학습 데이터에 비용이 많이 들고 작업에 특화된 레이블이 필요 없도록, 완전히 자기지도 학습을 가능하게 하기 위해.
• 시점 변환, 기하 보정, 색조 조율, 그림자 생성 등의 다양한 합성 측면을 하나의 생성 모델에 통합하기 위해.
• 텍스트 프롬프트가 아닌 이미지 유도 확산을 통해 입력 객체의 정체성과 외관을 유지하기 위해.
• 자기지도 설정에서 새로운 콘텐츠 어댑터와 데이터 증강 기법을 통해 생성 충실도를 향상시키기 위해.

제안 방법

• 프레임워크는 입력 객체 이미지, 대상 배경 및 삽입 위치를 지정하는 바운딩 박스를 기반으로 유도하는 조건부 확산 모델을 사용한다.
• 콘텐츠 어댑터 모듈은 입력 객체에서 다중 모odal 임베딩을 추출하여 고수준 의미 정보와 색상, 형태와 같은 저수준 세부 정보를 이미지 유도에 활용한다.
• 생성 모듈은 배경의 맥락을 유지하면서 반복적인 노이즈 제거를 통해 복합 이미지를 합성한다.
• 모델은 합성 데이터 생성과 데이터 증강(예: 자르기 및 이동 증강 포함)을 활용한 완전한 자기지도 학습 방식으로 훈련된다.
• 콘텐츠 어댑터는 두 단계로 훈련된다: 먼저 비적응형 임베딩을 학습하고, 이후 개체 수준의 특징을 통해 이를 개선한다.
• 평가에는 수정된 CLIP 점수가 사용되며, 텍스트 유도(클립 텍스트 점수)와 이미지 유도(클립 이미지 점수)의 의미 매칭을 별도로 측정한다.

실험 결과

연구 질문

• RQ1 자기지도 학습 기반의 단일 확산 모델이 작업에 특화된 감독 없이도 기하 보정, 색조 조율, 그림자 합성, 시점 합성 등의 다양한 합성 작업을 효과적으로 통합할 수 있는가?
• RQ2 이미지 유도 확산 모델이 텍스트 유도 대비 합성 시 객체의 정체성과 외관을 더 잘 유지할 수 있는가?
• RQ3 콘텐츠 어댑터 모듈이 합성용 이미지 생성에서 충실도와 외관 유지에 얼마나 기여하는가?
• RQ4 데이터 증강 기법이 자기지도 학습 기반 합성 모델의 현실성과 세부 사항 향상에 얼마나 효과적인가?
• RQ5 자기지도 사전 학습과 다단계 적응의 영향이 생성 합성 모델의 성능에 미치는 영향은 무엇인가?

주요 결과

• 실제 이미지에 대한 사용자 연구에서, BLIP 및 SDEdit와 같은 텍스트 유도 베이스라인에 비해 ObjectStitch는 외관 유지와 현실성에서 뛰어난 성능을 보였다.
• 콘텐츠 어댑터는 생성 충실도와 의미 일관성을 크게 향상시키며, 제거 시 CLIP 이미지 점수에 뚜렷한 감소가 관찰되어 그 기여도를 확인할 수 있었다.
• 콘텐츠 어댑터를 제거하거나 두 번째 훈련 단계를 생략할 경우 성능 저하가 발생하여, 개체 수준의 특징 학습에 기여한다는 점을 확인했다.
• 특히 자르기 및 이동 증강을 포함한 데이터 증강 기법은 마스크 영역 커버리지와 세부 사항 충실도를 향상시키며, 이를 생략할 경우 현실성에 유의미한 감소가 발생했다.
• FID 및 CLIP 이미지 점수 모두 최신 기술 수준의 결과를 달성하여, 뛰어난 현실성과 입력 객체와의 의미 일치를 입증했다.
• 프레임워크는 마스크된 객체 영역 내에서 그림자와 기하 보정을 성공적으로 합성했지만, 마스크 제약으로 인해 전체 그림자 전파와 같은 글로벌 효과는 여전히 제한적이다.