[論文レビュー] Making Images Real Again: A Comprehensive Survey on Deep Image Composition

Li Niu, Wenyan Cong+5 more|ArXiv.org|Jun 28, 2021

Digital Media Forensic Detection参考文献 103被引用数 38

ひとこと要約

ディープ画像構成の包括的な調査で、サブタスク（オブジェクト配置、ブレンディング、統合、影生成、生成的合成、前景探索）、データセット、評価指標、将来の作業ロードマップを詳述。

ABSTRACT

As a common image editing operation, image composition (object insertion) aims to combine the foreground from one image and another background image, to produce a composite image. However, there are many issues that could make the composite images unrealistic. These issues can be summarized as the inconsistency between foreground and background, which includes appearance inconsistency (e.g., incompatible illumination), geometry inconsistency (e.g., unreasonable size), and semantic inconsistency (e.g., mismatched semantic context). The image composition task could be decomposed into multiple sub-tasks, in which each sub-task targets one or more issues. Specifically, object placement aims to find reasonable scale, location, and shape for the foreground. Image blending aims to address the unnatural boundary between foreground and background. Image harmonization aims to adjust the illumination statistics of foreground. Shadow (resp., reflection) generation aims to generate plausible shadow (resp., reflection) for the foreground. These sub-tasks can be executed sequentially or in parallel to acquire realistic composite images. To the best of our knowledge, there is no previous survey on image composition. In this paper, we conduct a comprehensive survey over the sub-tasks and combined task of image composition. For each one, we summarize the existing methods, available datasets, and common evaluation metrics. Datasets and codes for image composition are summarized at https://github.com/bcmi/Awesome-Object-Insertion. We have also contributed the first image composition toolbox: libcom https://github.com/bcmi/libcom, which assembles 10+ image-composition-related functions. The ultimate goal of this toolbox is to solve all image composition problems with simple `import libcom'. Based on libcom toolbox, we also develop an online image composition workbench https://libcom.ustcnewly.com.

研究の動機と目的

• 現実味を損なう一貫性欠如のタイプを要約する（外観、幾何、意味論）。
• 現実的な合成を達成するためのサブタスクと組み合わせタスクを列挙する（配置、ブレンディング、統合、影生成、生成的合成、前景探索）。
• データセット、評価指標、研究者が画像合成モデルを構築・評価する際の実践的な指針を提供する。

提案手法

• 画像合成の問題を外観、幾何、意味論の一貫性欠如に分類し、それを対応するサブタスクに対応づける。
• 各サブタスクの伝統的手法と深層学習アプローチを説明し、それらを逐次的または並列に組み合わせる方法。
• 利用可能なデータセット（例：OPA、COCO由来データ）とオブジェクト配置・画像合成研究で使われる評価指標を要約する。
• 拡散モデルと生成的手法が統合的またはマルチタスクの合成パイプラインで果たす役割を強調する。
• 方法間の公正な比較のためのデータセット、ベンチマーク、評価実践に関するガイダンスを提供する。

実験結果

リサーチクエスチョン

• RQ1 画像合成の主な一貫性欠如タイプは何で、それを解決するサブタスクはどれか？
• RQ2 物体配置、ブレンディング、統合、影生成をどのように整理して現実的な合成を生み出す有効なパイプライン（逐次または並列）を構築できるか？
• RQ3 どのデータセットと評価指標が画像合成手法を評価するために用いられ、その長所と制限は何か？
• RQ4 生成的（拡散ベースを含む）手法は、判別・最適化ベースのアプローチと比べて物体配置と合成でどう比較されるか？
• RQ5 深い画像合成の将来の作業に向けた実用的なガイドラインとベンチマークは何か？

主な発見

• オブジェクト配置、ブレンディング、統合、影生成は外観、境界、照明の一貫性欠如を解決し、現実性を高める。
• 判別型のオブジェクト配置モデルは、位置スコアリングの効率的なスコアマップで拡張した場合、生成型より現実味のある配置を見つけるのに優れている。
• 生成的手法は多様な配置や視点変更に柔軟性を提供するが、場合によっては効率が低い、またはより多くの監督が必要になる。
• OPAのようなデータセットは合理性ラベルを持つ大規模ベンチマークを提供し、合成現実性を評価する。
• 画像ブレンディングの統一されたベンチマークは存在しないが、現実味スコア、ユーザースタディ、PSNR対地真実の合成との比較、下流タスクの性能を代理指標として利用する既存手法がある。