[논문 리뷰] Making Images Real Again: A Comprehensive Survey on Deep Image Composition

Li Niu, Wenyan Cong외 5명|ArXiv.org|2021. 06. 28.

Digital Media Forensic Detection참고 문헌 103인용 수 38

한 줄 요약

깊은 이미지 합성에 대한 포괄적 조사로, 하위 작업(객체 배치, 블렌딩, 하모나이제이션, 그림자 생성, 생성적 합성, 전경 검색), 데이터셋, 평가 지표, 및 향후 연구 로드맵을 상세히 다룸.

ABSTRACT

As a common image editing operation, image composition (object insertion) aims to combine the foreground from one image and another background image, to produce a composite image. However, there are many issues that could make the composite images unrealistic. These issues can be summarized as the inconsistency between foreground and background, which includes appearance inconsistency (e.g., incompatible illumination), geometry inconsistency (e.g., unreasonable size), and semantic inconsistency (e.g., mismatched semantic context). The image composition task could be decomposed into multiple sub-tasks, in which each sub-task targets one or more issues. Specifically, object placement aims to find reasonable scale, location, and shape for the foreground. Image blending aims to address the unnatural boundary between foreground and background. Image harmonization aims to adjust the illumination statistics of foreground. Shadow (resp., reflection) generation aims to generate plausible shadow (resp., reflection) for the foreground. These sub-tasks can be executed sequentially or in parallel to acquire realistic composite images. To the best of our knowledge, there is no previous survey on image composition. In this paper, we conduct a comprehensive survey over the sub-tasks and combined task of image composition. For each one, we summarize the existing methods, available datasets, and common evaluation metrics. Datasets and codes for image composition are summarized at https://github.com/bcmi/Awesome-Object-Insertion. We have also contributed the first image composition toolbox: libcom https://github.com/bcmi/libcom, which assembles 10+ image-composition-related functions. The ultimate goal of this toolbox is to solve all image composition problems with simple `import libcom'. Based on libcom toolbox, we also develop an online image composition workbench https://libcom.ustcnewly.com.

연구 동기 및 목표

• 이미지 합성에서 현실감을 저해하는 일관성 문제의 유형(외관, 기하학, 의미)을 요약한다.
• 현실적인 합성을 달성하기 위한 하위 작업 및 조합 작업을 나열한다(배치, 블렌딩, 하모나이제이션, 그림자 생성, 생성적 합성, 전경 검색).
• 데이터셋, 평가 지표, 그리고 이미지 합성 모델을 구축하고 평가하는 연구자들을 위한 실용적 지침을 제공한다.

제안 방법

• image composition의 appearance(외관), geometry(기하), semantic(의미) 불일치를 분류하고 이를 해당 하위 작업에 매핑한다.
• 전통적 방법과 딥 러닝 접근법에 대해 각 하위 작업을 설명하고 이를 순차적으로 또는 병렬로 결합하는 방법을 설명한다.
• 객체 배치 및 이미지 합성 연구에 사용되는 데이터셋(예: OPA, COCO-derived data) 및 평가 지표를 요약한다.
• 통합 또는 다중 작업 합성 파이프라인에서 확산 모델과 생성적 방법의 역할을 강조한다.
• 방법 간 공정한 비교를 위한 데이터셋, 벤치마크, 평가 관행에 대한 지침을 제시한다.

실험 결과

연구 질문

• RQ1 이미지 합성에서의 주요 불일치 유형은 무엇이며 어떤 하위 작업이 이를 다루는가?
• RQ2 객체 배치, 블렌딩, 하모나이제이션, 그림자 생성은 현실적인 합성을 만들기 위해 순차적 또는 병렬로 어떤 파이프라인으로 구성될 수 있는가?
• RQ3 이미지 합성 방법을 평가하는 데 사용되는 데이터셋과 평가 지표는 무엇이며, 그 강점과 한계는 무엇인가?
• RQ4 생성적(확산 기반 포함) 방법은 객체 배치와 합성에서 판별적/최적화 기반 접근법과 어떻게 비교되는가?
• RQ5 딥 이미지 합성의 미래를 위한 실용적 지침과 벤치마크는 무엇인가?

주요 결과

• Object placement, blending, harmonization, and shadow generation address appearance, boundary, and illumination inconsistencies to improve realism.
• Discriminative object placement models can outperform generative ones in locating plausible placements, especially when augmented with efficient score maps for location scoring.
• Generative approaches offer flexibility for diverse placements and view changes, but may be less efficient or require more supervision in some settings.
• Datasets like OPA provide a large-scale benchmark with rationality labels to evaluate composite realism.
• There is no unified benchmark for image blending, but existing methods utilize realism scores, user studies, PSNR against ground-truth composites, and downstream task performance as proxies.