[論文レビュー] Magicremover: Tuning-free Text-guided Image inpainting with Diffusion Models

Siyuan Yang, Lu Zhang+4 more|arXiv (Cornell University)|Oct 4, 2023

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

MagicRemover は、微調整不要でテキスト誘導型の画像インpaintingを実行する手法であり、事前学習済みの拡散モデルを活用して、マスクやモデルの微調整を必要とせずにオブジェクトを除去し、背景を復元する。アテンションに基づくガイドラインと分類器最適化を用いて、ノイズ除去の安定性とオブジェクト除去の忠実性を向上させ、定量的指標およびユーザースタディーにおいて最先端の性能を達成している。

ABSTRACT

Image inpainting aims to fill in the missing pixels with visually coherent and semantically plausible content. Despite the great progress brought from deep generative models, this task still suffers from i. the difficulties in large-scale realistic data collection and costly model training; and ii. the intrinsic limitations in the traditionally user-defined binary masks on objects with unclear boundaries or transparent texture. In this paper, we propose MagicRemover, a tuning-free method that leverages the powerful diffusion models for text-guided image inpainting. We introduce an attention guidance strategy to constrain the sampling process of diffusion models, enabling the erasing of instructed areas and the restoration of occluded content. We further propose a classifier optimization algorithm to facilitate the denoising stability within less sampling steps. Extensive comparisons are conducted among our MagicRemover and state-of-the-art methods including quantitative evaluation and user study, demonstrating the significant improvement of MagicRemover on high-quality image inpainting. We will release our code at https://github.com/exisas/Magicremover.

研究の動機と目的

• 境界がぼんやりしている、または透過性を示すオブジェクトに対してはマニュアルマスクが不適切となる場合に生じるマスクベースの画像インpaintingの限界を解消すること。
• 画像インpaintingにおける高コストなデータ収集やモデル微調整の必要性を排除し、ゼロショットの形で事前学習済みの拡散モデルを活用すること。
• バイナリマスクではなく自然言語の指示によって柔軟かつ使いやすいオブジェクト除去を可能にすること。
• 拡散サンプリングにおけるノイズ除去プロセスの安定化により、補完領域の一貫性と現実性を向上させること。

提案手法

• 本手法は、入力画像とテキストプロンプトを事前学習済みのテキストから画像への拡散モデルの潜在空間に投影し、クロスアテンションおよび自己アテンションマップを計算する。
• 対象オブジェクトに対応する特徴を抑制し、背景生成を強化するようにアテンションマップを変更するアテンションに基づくガイドライン戦略を導入する。
• ノイズ除去の過程で分類器最適化アルゴリズムを適用し、サンプリングステップ数を削減しながらも、オブジェクト除去の正確性と安定性を向上させる。
• 逆方向の拡散プロセスを用いて、入力画像の潜在表現を再構築することで、アテンション機構を介して対象オブジェクトの正確な局所化を実現する。
• 追加のトレーニングや微調整を一切回避し、事前学習済みの拡散モデルの内部表現に依存する。
• アテンションマップを活用してノイズ除去プロセスを誘導することで、ソフトなオブジェクト除去を実現し、文脈的に整合性のある背景復元を可能にする。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの拡散モデルを、微調整や補助的トレーニングを一切行わずにゼロショットでテキスト誘導型の画像インpaintingに利用できるか？
• RQ2 拡散モデル内のアテンションマップをどのように操作すれば、オブジェクト除去と背景復元を効果的にガイドできるか？
• RQ3 分類器最適化は、ノイズ除去の安定性を向上させるとともに、サンプリングステップ数を削減しながらも、高品質なインpainting結果を維持できるか？
• RQ4 従来のマスクベース手法と比較して、曖昧またはぼんやりとした境界を持つオブジェクトに対して、本手法はどのように性能を発揮するか？
• RQ5 アテンションガイドラインのコンponentsが、補完出力の忠実性と一貫性に与える影響は何か？

主な発見

• COO 2017 検証セットにおいて、MagicRemover は SD-Inpaint や LaMa よりも低い Fréchet Inception Distance (FID) を達成しており、画像品質および分布類似度の向上を示している。
• Inst-Inpaint と比較して、MagicRemover は残留影を回避し、オブジェクト認識の正確性を向上させることで、より良い FID を達成している。
• 30名の参加者を対象としたユーザースタディーでは、MagicRemover が好み順位付けで過半数の票を獲得しており、優れた知覚的品質と現実性を確認している。
• アブレーションスタディーにより、自己アテンションガイドラインが元の画像類似度を保持していることが確認され、制約の緩和とリウェイト・パerturbationが背景の一貫性を向上させている。
• 分類器最適化は、低サンプリングステップ数（例：50ステップ）であっても、オブジェクト除去性能を顕著に向上させ、残留オブジェクト情報を低減し、編集能力を強化している。
• 本手法は、境界が不明瞭なためバイナリマスクベース手法で困難な半透明のオブジェクト（泡やガラスなど）の除去に成功している。