[論文レビュー] SyncDiffusion: Coherent Montage via Synchronized Joint Diffusions

Yuseung Lee, Kunho Kim+2 more|arXiv (Cornell University)|Jun 8, 2023

Advanced Vision and Imaging被引用数 4

ひとこと要約

SyncDiffusionは、ノイズ除去予測における知覚的類似度損失を用いて勾配降下法で複数の拡散プロセスを同期することで、パンオプティック画像生成におけるグローバルな整合性を向上させるプラグアンドプレイモジュールを提案する。これは、再訓練を必要とせず、画像品質とプロンプト整合性を維持したまま、先行手法よりも顕著に高い整合性（ユーザースタディーで66.35％）を達成し、統合拡散アプローチを上回るシームレスさと意味的整合性を実現する。

ABSTRACT

The remarkable capabilities of pretrained image diffusion models have been utilized not only for generating fixed-size images but also for creating panoramas. However, naive stitching of multiple images often results in visible seams. Recent techniques have attempted to address this issue by performing joint diffusions in multiple windows and averaging latent features in overlapping regions. However, these approaches, which focus on seamless montage generation, often yield incoherent outputs by blending different scenes within a single image. To overcome this limitation, we propose SyncDiffusion, a plug-and-play module that synchronizes multiple diffusions through gradient descent from a perceptual similarity loss. Specifically, we compute the gradient of the perceptual loss using the predicted denoised images at each denoising step, providing meaningful guidance for achieving coherent montages. Our experimental results demonstrate that our method produces significantly more coherent outputs compared to previous methods (66.35% vs. 33.65% in our user study) while still maintaining fidelity (as assessed by GIQA) and compatibility with the input prompt (as measured by CLIP score). We further demonstrate the versatility of our method across three plug-and-play applications: layout-guided image generation, conditional image generation and 360-degree panorama generation. Our project page is at https://syncdiffusion.github.io.

研究の動機と目的

• 統合拡散モデルを用いたパンオプティック画像生成におけるグローバルな整合性の欠如に取り組むこと。これは、接合領域におけるシーンの一貫性に欠ける結果を生じがちである。
• 重複領域にわたる複数の拡散プロセスを同期させることで、滑らかで意味的に整合性のあるモンタージュを実現すること。
• 既存の拡散モデルおよびプロンプトフレームワークと互換性があるゼロショット、プラグアンドプレイのソリューションを提供すること。
• 構造的および意味的整合性を向上させつつ、高い画像忠実度とプロンプト互換性を維持すること。
• レイアウトガイドド生成、条件付き画像合成、360度パノラマ作成など、多様な応用分野における汎用性を示すこと。

提案手法

• 各ノイズ除去段階において、異なる画像ウィンドウからのノイズ除去予測間の知覚的類似度損失を計算することで、複数の拡散プロセスを同期する。
• 勾配降下法を用いて、知覚的損失に基づいてノイズの多い潜在特徴を更新し、逆方向拡散プロセスを整合性のある出力へと誘導する。
• ノイズの多い特徴ではなく、予測されたノイズ除去画像上で知覚的損失を計算することで、バックプロパゲーションによる効果的なガイドが可能になる。
• 重複領域で潜在特徴を平均化する既存の統合拡散フレームワークと統合し、局所的なシームレスさを保持する。
• 再訓練やファインチューニングを必要とせず、事前学習済みの拡散モデル（例：Stable Diffusion 2.0）をそのまま利用できるため、ゼロショットデプロイメントが可能である。
• LPIPS、スタイル損失など、さまざまな知覚的損失をサポートし、プラグアンドプレイ統合により多様な生成タスクに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 ノイズ除去予測上で計算された知覚的類似度損失が、統合拡散を用いたパンオプティック生成におけるグローバルな整合性向上に有効に機能するか。
• RQ2 特徴平均化のみに比べて、複数の拡散プロセスを勾配ベースで同期させることで、意味的整合性をどの程度維持できるか。
• RQ3 整合性を向上させつつ、画像品質とプロンプト整合性をどの程度保持できるか。
• RQ4 レイアウトガイドド生成、条件付き生成、360度画像生成など、多様な生成タスクにSyncDiffusionを効果的に適用できるか。
• RQ5 ベースラインの統合拡散と比較して、同期モジュールが引き起こす計算オーバーヘッドはどの程度か。

主な発見

• ユーザースタディーにおいてSyncDiffusionは66.35％の整合性を達成し、MultiDiffusionの33.65％を大きく上回り、グローバルな一貫性の顕著な向上を示した。
• 高い画像品質を維持し、GIQAスコア57.19％を記録することで、強力な知覚的忠実度を示した。
• プロンプト互換性が59.50％（CLIPスコア）まで向上し、先行手法よりも入力プロンプトとの整合性が優れていた。
• レイアウトガイドド画像生成において、整合性のないまたは不一致なシーンではなく、自然な背景を生成することで、整合性の向上が有効に実現された。
• ControlNetを用いた条件付き画像生成では、入力条件（例：Cannyエッジマップ）を保持したまま、一貫性のあるマルチビュー出力を実現した。
• 360度パノラマ生成では、vanilla MVDiffusionとは異なり、同じシーンから発生したように見える視点を生成し、離散的または矛盾する視点を生成するのを回避した。