[論文レビュー] Fine-grained Image Editing by Pixel-wise Guidance Using Diffusion Models

Naoki Matsunaga, Masato Ishii+3 more|arXiv (Cornell University)|Dec 5, 2022

Advanced Vision and Imaging被引用数 6

ひとこと要約

本稿では、ピクセル単位のガイドランスを用いた拡散ベースの画像編集フレームワークを提案する。この手法により、編集領域外のコンテンツを保持したまま、細分化された制御可能なリアル画像編集が可能になる。軽量なピクセル分類器を訓練し、初期の逆拡散ステップでセグメンテーションマップガイドドノイズ除去を適用することで、ラベル効率が高く、高速な推論を実現する。GANベースの手法に比べて品質と速度の両面で優れている。

ABSTRACT

Our goal is to develop fine-grained real-image editing methods suitable for real-world applications. In this paper, we first summarize four requirements for these methods and propose a novel diffusion-based image editing framework with pixel-wise guidance that satisfies these requirements. Specifically, we train pixel-classifiers with a few annotated data and then infer the segmentation map of a target image. Users then manipulate the map to instruct how the image will be edited. We utilize a pre-trained diffusion model to generate edited images aligned with the user's intention with pixel-wise guidance. The effective combination of proposed guidance and other techniques enables highly controllable editing with preserving the outside of the edited area, which results in meeting our requirements. The experimental results demonstrate that our proposal outperforms the GAN-based method for editing quality and speed.

研究の動機と目的

• 実世界の応用に適した、高い制御性と効率性を備えた細分化されたリアル画像編集手法の開発。
• 特に編集されていない画像領域の保持が不十分である点（P.2）が問題となるGANベースの手法の限界を克服しつつ、高品質な編集を維持すること。
• 事前学習済みのセマンティックセグメンテーションモデル（DatasetDDPM）を拡散ガイドランスに適応させることで、ラベル効率の高い訓練を実現すること。
• 加速サンプリングと最適化されたガイドランスにより、GANベースの手法と同等の高速な編集速度を達成すること。
• 編集領域のサイズに応じたパラメータ設定戦略を提供し、最適なパフォーマンスを発揮すること。

提案手法

• 本手法は事前学習済みの拡散モデルを用い、少数のアノテート済み例で訓練された軽量なセグメンテーションヘッドを用いてピクセル単位のガイドランスを適用する。
• ターゲット画像のセグメンテーションマップは、タスクに合わせて微調整されたラベル効率の高いセマンティックセグメンテーションモデル（DatasetDDPM）を用いて推論される。
• ガイドランスは逆拡散プロセス中に適用され、選択されたノイズ除去ステップ $t_0$ でピクセル単位のセグメンテーション損失を最小化することで実現される。
• ガイドランススケール $s$ と開始ステップ $t_0$ は編集タスクごとに最適化され、小規模な編集では $t_0 = 500$、$s = 100$、大規模な編集では $t_0 = 750$、$s = 40$ が使用される。
• 高速な推論速度を維持するため、加速サンプリングが用いられ、GANに近い編集速度が達成される。
• 潜在空間の補間を活用して、編集強度と一貫性を探索する。

実験結果

リサーチクエスチョン

• RQ1 拡散モデルをどのようにピクセルレベルで効果的にガイドすれば、高忠実度の細分化された画像編集が可能になるか？
• RQ2 編集領域のサイズに応じて、最適なノイズ除去開始ステップ $t_0$ とガイドランススケール $s$ の組み合わせは何か？
• RQ3 最小限のアノテーションでラベル効率の高い訓練を達成できるか、高品質な編集を維持できるか？
• RQ4 制御性や品質を損なわず、拡散ベースの編集で高速な推論を達成するにはどうすればよいか？
• RQ5 本手法は、GANベースのベースラインに比べて、編集されていない画像領域の保持をより効果的に行えるか？

主な発見

• 提案手法は、編集領域の保持や詳細な特徴の維持において、GANベースのEditGANを上回る品質と速度を達成した。
• 最適な $t_0$ と $s$ の設定は編集領域のサイズに依存し、大きな領域ではアーティファクトを避けるために高い $t_0$ と低い $s$ が必要となる。
• ガイドランスに軽量なピクセル分類器を用いることで、フルサイズのセグメンテーションモデルに比べて計算コストが低減され、高速な推論が可能になった。
• 元画像と編集済み画像の潜在空間における補間により、意味的で整合性のある中間サンプルが得られ、安定的で連続的な編集経路が示唆された。
• 人物をシーンから削除するような大規模な編集では、自然な背景の補完を保証するため、$t_0 = 800$ が必要となる。
• 色の変更（例：目や髪の色）の処理には限界があり、細かく複雑な編集（例：まつげや口の形）には手動でのチューニングが必要となる。