[論文レビュー] HD-Painter: High-Resolution and Prompt-Faithful Text-Guided Image Inpainting with Diffusion Models

Hayk Manukyan, Andranik Sargsyan+4 more|arXiv (Cornell University)|Dec 21, 2023

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

HD-Painter は、トレーニングフリーで高解像度のテキストガイド付き画像穴埋め法であり、2つの新規モジュールである Prompt-Aware Introverted Attention (PAIntA) と Reweighting Attention Score Guidance (RASG) を用いてプロンプトの忠実度を向上させる。PAIntA はテキストプロンプトとのアテンション整合性を強化し、RASG は分布シフトを防ぐ後処理サンプリング戦略である。MSCOCO では 61.4% の生成精度を達成し、従来の SOTA メソッドを著しく上回る。

ABSTRACT

Recent progress in text-guided image inpainting, based on the unprecedented success of text-to-image diffusion models, has led to exceptionally realistic and visually plausible results. However, there is still significant potential for improvement in current text-to-image inpainting models, particularly in better aligning the inpainted area with user prompts and performing high-resolution inpainting. Therefore, we introduce HD-Painter, a training free approach that accurately follows prompts and coherently scales to high resolution image inpainting. To this end, we design the Prompt-Aware Introverted Attention (PAIntA) layer enhancing self-attention scores by prompt information resulting in better text aligned generations. To further improve the prompt coherence we introduce the Reweighting Attention Score Guidance (RASG) mechanism seamlessly integrating a post-hoc sampling strategy into the general form of DDIM to prevent out-of-distribution latent shifts. Moreover, HD-Painter allows extension to larger scales by introducing a specialized super-resolution technique customized for inpainting, enabling the completion of missing regions in images of up to 2K resolution. Our experiments demonstrate that HD-Painter surpasses existing state-of-the-art approaches quantitatively and qualitatively across multiple metrics and a user study. Code is publicly available at: https://github.com/Picsart-AI-Research/HD-Painter

研究の動機と目的

• テキストガイド付き画像穴埋めにおけるプロンプト無視、特に背景優位性や近隣オブジェクトの伝搬を解消すること。
• 微調整なしに 2048×2048 の高解像度穴埋めを可能にし、プロンプト整合性や視覚的品質を損なわないこと。
• トレーニングフリーで即挿入可能なソリューションを提供し、既存の拡散モデルのテキスト-画像整合性を向上させること。
• 穴埋め領域のための特化した超解像パイプラインを用いて、生成忠実度とユーザーが感じる品質を向上させること。

提案手法

• PAIntA はテキストプロンプト埋め込みを統合することで自己アテンションスコアを強化し、関係のない画像特徴の影響を低減し、プロンプト関連コンテンツへの注目を高める。
• RASG は DDIM サンプリングプロセスを再定義し、推論中にアテンションスコアを再重み付けすることで、プロンプトに整合する潜在変数への生成をガイドするとともに、分布シフトを回避する。
• 時間反復的ブレンド戦略を用い、高解像度拡散モデルと組み合わせることで、高解像度生成中の整合性を維持する。
• 穴埋め領域を滑らかに拡大するための特化した超解像技術を適用し、既知の領域からの詳細を保持する。
• PAIntA と RASG は即挿入可能であり、再トレーニングなしに任意の事前学習済み拡散ベースの穴埋めモデルに統合可能である。
• プロンプト整合性と視覚的品質の包括的評価に、CLIP、MMDetection、PickScore を活用する。

実験結果

リサーチクエスチョン

• RQ1 トレーニングフリーの手法が、微調整なしにテキストガイド付き画像穴埋めにおけるプロンプト忠実度を著しく向上させられるか？
• RQ2 アテンション機構をどのように変更すれば、マスク領域内の視覚的文脈よりもテキストプロンプトを優先できるか？
• RQ3 後処理ガイドランスを設計することで、分布シフトを回避しながら拡散サンプリングにおけるプロンプト整合性を向上させられるか？
• RQ4 特化した超解像処理が高解像度穴埋めの品質と整合性に与える影響は何か？
• RQ5 PAIntA と RASG の組み合わせは、定量的指標およびユーザーの主観的評価において、既存の SOTA メソッドと比較してどのように差をつけるか？

主な発見

• HD-Painter は MSCOCO で 61.4% の生成精度を達成し、前回の SOTA である 51.9% より 9.5 パcent 上回った。
• すべての競合手法と比較して、CLIP スコアが 1.5 ポイント以上向上し、テキスト-画像整合性が強化されたことを示している。
• PickScore 分析では、HD-Painter がすべてのベースラインを上回り、全体的な品質とユーザーの好みにおいて統計的に有意な優位性を示した。
• ユーザー評価調査では、HD-Painter がプロンプト整合性および視覚的品質の両面で、競合他社を著しく上回ることが確認された。
• 定性的な結果から、視覚的文脈と矛盾するプロンプトであっても、目標オブジェクトの生成が一貫して成功していることが示され、背景やオブジェクトの優位性を回避している。
• 穴埋め専用の超解像処理により、滑らかな高解像度補完が可能となり、通常の超解像処理と比較して優れた詳細保持性能を示した。