[論文レビュー] High-Resolution Image Editing via Multi-Stage Blended Diffusion

Johannes Ackermann, Minjun Li|arXiv (Cornell University)|Oct 24, 2022

Advanced Image Processing Techniques被引用数 10

ひとこと要約

この論文では、事前学習済みの低解像度拡散モデルを用いて、高解像度画像編集のためのマルチステージでブレンドされた拡散アプローチを提案する。中間ステップでリアルタイムの拡大処理（Real-ESRGAN）とブレンドド・ディフュージョンによる精錬を繰り返すことで、グローバルに一貫性があり高精度な編集を、メガピクセル解像度で達成している。直接の高解像度推論やセグメント単位での編集ベースラインを上回っている。

ABSTRACT

Diffusion models have shown great results in image generation and in image editing. However, current approaches are limited to low resolutions due to the computational cost of training diffusion models for high-resolution generation. We propose an approach that uses a pre-trained low-resolution diffusion model to edit images in the megapixel range. We first use Blended Diffusion to edit the image at a low resolution, and then upscale it in multiple stages, using a super-resolution model and Blended Diffusion. Using our approach, we achieve higher visual fidelity than by only applying off the shelf super-resolution methods to the output of the diffusion model. We also obtain better global consistency than directly using the diffusion model at a higher resolution.

研究の動機と目的

• 事前学習済みの拡散モデルの512×512の制限を超えて高解像度画像編集を可能にすること。
• 低解像度拡散モデルを高解像度画像に直接適用した場合に生じるグローバルな不一致と品質劣化を解消すること。
• 大規模な編集における編集済み領域と未編集領域の間の視覚的忠実度と融合を向上させること。
• オフザシェルコンポonentと事前学習済みモデルのみを用いて、メガピクセルスケールの画像を実用的に編集できること。

提案手法

• まず、マスクされた領域を、事前学習済み拡散モデル（Stable Diffusion v1.4）の訓練解像度に一致するように切り出し、ダウンスケーリングする。
• Repaintを用いたブレンドド・ラティント・ディフュージョンを適用し、低解像度で局所的に一貫性のある編集を生成し、CLIP類似度により最良のサンプルを選択する。
• 繰り返しReal-ESRGANで画像を拡大し、中間の拡散ステップから再びブレンドド・ディフュージョンを適用することで、品質を精錬し、プロンプトの一貫性を維持する。
• ノイズ除去中にぼやけを軽減するために、マスク領域を低域フィルタリングして編集済み領域の解像度に合わせる。
• 非常に大きな出力の場合、画像を重複するグリッドセグメントに分割し、それぞれを別々に処理した後、アルファコンポジティングで再結合する。
• 各ステージの後にデコーダー最適化を適用し、編集済み領域と元の領域の間の融合を向上させる。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの低解像度拡散モデルを、高解像度画像編集に効果的に再利用できるか？
• RQ2 中間の精錬を伴うマルチステージの拡大処理は、直接の高解像度推論と比較して、グローバルな一貫性と視覚的忠実度を向上させるか？
• RQ3 ブレンドド・ディフュージョンとスーパーレゾリューションモデルの組み合わせは、エンドツーエンドの高解像度ディフュージョンやセグメント単位での編集と比較して、どのように優れているか？
• RQ4 拡大処理中に領域の一貫性を維持するために、最も効果的な前処理手順（例：低域フィルタリング、Repaint）は何か？
• RQ5 非常に大きな画像（例：1000×2000ピクセル以上）に対して、メモリオーバーフローを回避しながら、どのようにスケーリングできるか？

主な発見

• 提案手法は、直接の高解像度推論で見られる繰り返しパターンや不整合を回避し、メガピクセル解像度でグローバルに一貫性があり高精度な編集を達成した。
• ブレンドド・ディフュージョンにRepaintを組み合わせることで、特に複雑なテクスチャーやオブジェクトにおいて、マスク領域と非マスク領域の融合が著しく向上した。
• 各ステージ後にデコーダー最適化を適用することで、編集済み領域と元の領域の視覚的整合性が向上したが、非常に高い解像度では計算コストが著しく増加した。
• 直接の高解像度でのブレンドド・ディフュージョン適用や、DALL-E 2を用いたセグメント単位での編集と比較して、本手法は優れた性能を示した。特にテストケースでは、DALL-E 2が二体の浮遊する像を生成したのに対し、本手法は一貫性のある出力を得た。
• Repaintステップ数をR=5に設定することで、多様な画像タイプにわたって品質と一貫性のバランスが良好に保たれたが、最適な設定は入力ごとに異なる可能性がある。
• Real-ESRGANによる拡大処理は全体的に良好に機能したが、細部を失うことがあり、一部のケースでは融合アーチファクトを引き起こした。