[論文レビュー] ControlCom: Controllable Image Composition using Diffusion Model

Bo Zhang, Yuxuan Duan+5 more|arXiv (Cornell University)|Aug 19, 2023

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

ControlComは、照明およびポーズを制御する2次元インジケーターベクトルを用いて、画像ブレンド、ハーモナイゼーション、ビュー合成、生成的コンポジションを統合する包括的な拡散モデルを提案する。2段階の特徴統合戦略（まずグローバル、次にローカルな埋め込み統合）を採用することで、先行手法を上回る前景の忠実度と制御性を達成し、公開および実世界のベンチマークで優れた性能を示した。

ABSTRACT

Image composition targets at synthesizing a realistic composite image from a pair of foreground and background images. Recently, generative composition methods are built on large pretrained diffusion models to generate composite images, considering their great potential in image generation. However, they suffer from lack of controllability on foreground attributes and poor preservation of foreground identity. To address these challenges, we propose a controllable image composition method that unifies four tasks in one diffusion model: image blending, image harmonization, view synthesis, and generative composition. Meanwhile, we design a self-supervised training framework coupled with a tailored pipeline of training data preparation. Moreover, we propose a local enhancement module to enhance the foreground details in the diffusion model, improving the foreground fidelity of composite images. The proposed method is evaluated on both public benchmark and real-world data, which demonstrates that our method can generate more faithful and controllable composite images than existing approaches. The code and model will be available at https://github.com/bcmi/ControlCom-Image-Composition.

研究の動機と目的

• 既存の拡散ベースの画像コンポジション手法における制御性の欠如、特に照明やポーズといった前景属性の選択的調整の不足を解消すること。
• 拡散ベースの生成でしばしば失われるテクスチャーや外観の詳細を強化することで、前景のアイデンティティ保持を向上させること。
• ブレンド、ハーモナイゼーション、ビュー合成、生成的コンポジションの4つの関連タスクを、1つの条件付き拡散モデルに統合すること。
• 複数のコンポジションタスクの共同学習を可能にする、特化したデータ準備パイプラインを備えた自己教師付き学習フレームワークの開発。
• グローバルな一貫性とローカルな詳細忠実度の両方を向上させる2段階の特徴統合メカニズムの設計。

提案手法

• 照明またはポーズの調整を指定するための2次元インジケーターベクトルを導入し、4つのコンポジションタスクを統合的に処理可能にする。
• 1つの統一アーキテクチャを用いて、画像ブレンド、ハーモナイゼーション、ビュー合成、生成的コンポジションの4タスクを同時に学習する自己教師付き学習フレームワークを設計。
• 2段階の特徴統合戦略を提案：まずグローバルな前景埋め込みを統合して粗い合成を生成し、次にローカル埋め込みを統合してテクスチャーや外観の詳細を精緻化。
• ローカル埋め込みから構築した整合された前景埋め込みマップを用い、拡散モデル内の中間特徴を調整することで、ローカルな詳細忠実度を向上。
• 事前学習済みの画像エンコーダーを介して背景および前景画像に条件付けられ、インジケーターベクトルと統合された特徴量によって拡散プロセスが誘導される。
• 訓練データは、4つのタスクすべての現実的なコンポジションシナリオを模倣するように特化したパイプラインで準備され、エンドツーエンドの自己教師付き学習が可能となる。

Figure 1 : Overview of our controllable image composition method. We unify four tasks in one diffusion model and enable control over the illumination and pose of the synthesized foreground objects with a 2-dim indicator vector.

実験結果

リサーチクエスチョン

• RQ1 1つの拡散モデルが、共通のアーキテクチャのもとで画像ブレンド、ハーモナイゼーション、ビュー合成、生成的コンポジションの4つを効果的に統合できるか？
• RQ2 2次元制御ベクトルが、アイデンティティや現実性を損なわずに、照明やポーズといった前景属性を効果的に選択的に操作できるか、その限界はどこか？
• RQ3 グローバル統合からローカル統合へと段階を踏む2段階の統合戦略は、同時に統合するか単一段階の統合に比べ、前景の詳細忠実度を向上させるか？
• RQ4 前景の忠実度、背景の保持、全体的な画像品質という観点から、提案手法は最先端のベースラインと比べてどのように優れているか？
• RQ5 モデルは、キュレートされたベンチマークにとどまらず、実世界のコンポジションシナリオにも一般化できるか？

主な発見

• COCOEEベンチマークにおいて、ControlComのCompositionバージョンは、FID（3.19）とQS（77.84）の両面で最高を記録し、PbEおよびObjectStitchを上回る全体的な品質を達成した。
• Blendingバージョンは、CLIP_{fg}スコア（90.63）が最高となり、前景のアイデンティティ保持が優れていた一方で、背景の一貫性も良好を維持した。
• HarmonizationおよびView Synthesisバージョンは、PbEおよびObjectStitchと同等またはそれ以上のLPIPSおよびLSSIMスコアを達成し、視覚的な調和性と現実性の向上を示した。
• 定性的な結果から、ControlComはテキストガイドドやベースラインの拡散モデルに比べ、前景のテクスチャーや外観の詳細を顕著に良好に保持していることが明らかになった。
• ユーザースタディおよび視覚的比較により、ControlComは照明およびポーズの正確な制御編集を可能にし、より現実的で信憑性のある合成を生成できることを確認した。
• 新たに構築されたFOSComデータセットを用いた検証により、モデルは合成ベンチマークにとどまらず、実世界のデータに対しても良好な一般化性能を示した。

Figure 2 : Illustration of our ControlCom. Our model consists of two main components: a foreground encoder (a) that extracts hierarchical embeddings from foreground image, and a controllable generator (b) that synthesizes composite image with control over foreground illumination and pose using indic