[論文レビュー] DiffSketching: Sketch Control Image Synthesis with Diffusion Models

Qiang Wang, Di Kong+2 more|arXiv (Cornell University)|May 30, 2023

Generative Adversarial Networks and Image Synthesis被引用数 6

ひとこと要約

DiffSketchingは、大規模なペairedスケッチ・イメージデータセットを必要とせずに、手書きのスケッチから高精細で多様性に富み、現実的な画像生成を実現する、拡散モデルに基づく手法を提案する。クロスドメイン制約、分類器ガイドランス、および知覚損失を活用することで、GANベースの手法を定量的指標および人間評価の両面で上回り、画像編集や条件付き補間への応用を可能にする。

ABSTRACT

Creative sketch is a universal way of visual expression, but translating images from an abstract sketch is very challenging. Traditionally, creating a deep learning model for sketch-to-image synthesis needs to overcome the distorted input sketch without visual details, and requires to collect large-scale sketch-image datasets. We first study this task by using diffusion models. Our model matches sketches through the cross domain constraints, and uses a classifier to guide the image synthesis more accurately. Extensive experiments confirmed that our method can not only be faithful to user's input sketches, but also maintain the diversity and imagination of synthetic image results. Our model can beat GAN-based method in terms of generation quality and human evaluation, and does not rely on massive sketch-image datasets. Additionally, we present applications of our method in image editing and interpolation.

研究の動機と目的

• 抽象的で情報量が少ない手書きスケッチから、写真のようにリアルで多様な画像を生成するという課題に対処すること。
• 大規模なペアスケッチ・イメージデータセットに依存せずに、拡散モデルベースの生成においてスケッチと画像のドメインギャップを克服すること。
• 分類器ガイドランスと知覚損失を導入することで、クロスドメインマッチングを実現し、生成の忠実性と多様性を向上させること。
• スケッチ制御を用いた画像編集や条件付き補間といった実用的応用を可能にすること。
• 拡散モデルがGANを上回り、モード崩壊や学習不安定性を回避しながらスケッチから画像への変換において優れた性能を示すことを示すこと。

提案手法

• 本手法は、入力スケッチをクロスドメイン制約によってガイドする、潜在ノイズからの画像生成を目的としたノイズ除去拡散確率的モデル（DDPM）を用いる。
• 分類器を用いて拡散プロセスをガイドすることで、画像生成における細かい制御を可能にし、スケッチ入力の曖昧さを低減する。
• 知覚損失をスケッチドメインに適用することで、スケッチが歪んでいたり抽象的であったりしても、生成画像が入力スケッチの形状と構造と一致することを保証する。
• 画像のアイデンティティ損失を用いて、テクスチャーや詳細情報を保持し、スケッチの内容の高精細再構成を実現する。
• アテンションブロックを介した元の画像の特徴量とスケッチガイドド潜在空間の操作を組み合わせることで、条件付き画像編集を実現する。
• 2つの初期潜在変数間で球面線形補間（slerp）を用いて潜在空間の補間を実行し、異なるスケッチ条件間での滑らかな遷移を可能にする。

実験結果

リサーチクエスチョン

• RQ1 大規模なペアデータセットを必要とせず、拡散モデルが抽象的で情報量が少ないスケッチから多様で現実的な画像を効果的に生成できるか。
• RQ2 拡散ベースの生成フレームワークにおいて、スケッチと画像の間のクロスドメイン整合性をどのように達成できるか。
• RQ3 スケッチの曖昧さが存在する状況下でも、分類器ガイドランスがスケッチから画像への変換の忠実性と制御性を向上させられるか。
• RQ4 提案手法が画像編集や条件付き補間といった後続応用をどの程度効果的にサポートできるか。
• RQ5 画像品質、多様性、人間評価の観点から、GANベースのベースラインと比較して、モデルの性能はどの程度か。

主な発見

• DiffSketchingは、ベンチマークデータセット上でのインセプションスコア（IS）とフィデューシャルスコア（FID）の両面で、GANベースの手法を上回る優れた画像品質と多様性を達成した。
• 人間評価においても、リアルさと忠実性に関する人間の直感的判断との整合性が高いという点で、GANベースのベースラインを上回った。
• グローバルな知覚損失による局所的整合性への依存の低減のおかげで、実際のユーザーが描いたスケッチ（QuickDrawからのもの）に対しても、歪みや単純化があっても強固な性能を維持した。
• アブレーションスタディの結果、画像のアイデンティティ損失とスケッチの知覚損失の両方が不可欠であることが確認された。両方の損失を除去すると、生成品質とスケッチの忠実性が著しく低下した。
• 本手法は、元の画像のテクスチャを保持しつつ、スケッチ入力に基づいて形状やポーズを変更することで、効果的な画像編集を可能にした。
• 潜在空間におけるslerpによる条件付き補間により、異なるスケッチ条件間で滑らかで一貫性のある遷移が得られ、モデルの整合性と制御性を示した。