[論文レビュー] Fuzzy-Conditioned Diffusion and Diffusion Projection Attention Applied to Facial Image Correction

Majed El Helou|arXiv (Cornell University)|Jan 1, 2023

Generative Adversarial Networks and Image Synthesis被引用数 1

ひとこと要約

本稿では、拡散モデルの事前分布と異常マップを活用することで、空間的に変化する、解釈可能な画像修復が可能な、ファジィ条件付き拡散および拡散投影注意機構を提案する。この手法により、ベースラインの拡散モデルと比較して優れた視覚的忠実度と解釈可能な補正マップが達成される。

ABSTRACT

Image diffusion has recently shown remarkable performance in image synthesis and implicitly as an image prior. Such a prior has been used with conditioning to solve the inpainting problem, but only supporting binary user-based conditioning. We derive a fuzzy-conditioned diffusion, where implicit diffusion priors can be exploited with controllable strength. Our fuzzy conditioning can be applied pixel-wise, enabling the modification of different image components to varying degrees. Additionally, we propose an application to facial image correction, where we combine our fuzzy-conditioned diffusion with diffusion-derived attention maps. Our map estimates the degree of anomaly, and we obtain it by projecting on the diffusion space. We show how our approach also leads to interpretable and autonomous facial image correction.

研究の動機と目的

• 拡散モデルにおける二値条件付けを超えて一般化するため、生成過程で画像事前分布の影響度を空間的に変化させるファジィ条件付けを導入する。
• 劣化の事前知識が不要な、ピクセル単位の異常検出を実現するための拡散投影に基づく注意マップを開発する。
• ファジィ条件付けと拡散事前分布、異常マップを組み合わせることで、顔画像の劣化を自律的に補正可能にする。
• 各ピクセルにおける幻覚の制御を通じて、視覚的忠実度と解釈可能性を向上させる。

提案手法

• ファジィ条件付き拡散は、学習可能な空間的に変化する重みマップを用いて、入力画像への条件付けの強度を制御し、画像事前分布の影響度を部分的または変動的に制御可能にする。
• この手法は、各拡散ステップで入力画像と再ノイズ処理されたバージョンをソフトで微分可能な重みマップ m(x) を用いて融合することで、DDPMのノイズ除去プロセスを変更する。
• 拡散投影注意は、検証データセット上で拡散モデルの潜在特徴の期待活性を推定し、その偏差を正規化したマップを計算することで、異常ピクセルを特定する。
• 異常マップ m(x) は (1 − A(x))² として導出され、A(x) は期待された潜在応答からの逸脱を測定する。この式により、高い異常度を持つ領域の補正が促進される。
• フレームワークは、この異常マップを拡散プロセスにおけるファジィガイドマスクとして適用し、顔画像の劣化を自律的に補正可能にする。
• このアプローチはピクセル単位で動作し、局所的な画像構造を保持しながら、学習された分布的事前分布に基づいて異常を補正する。

実験結果

リサーチクエスチョン

• RQ1 拡散モデルは、生成過程で画像事前分布の影響度を制御するための非二値的かつ空間的に変化する重みを用いて条件付け可能だろうか？
• RQ2 拡散モデルを用いて、劣化モデルの事前知識がなくても、解釈可能でデータ駆動型の異常マップを生成できるだろうか？
• RQ3 劣化タイプの事前知識がなくても、拡散空間におけるプロジェクションベースの注意機構は分布外の摂動を検出できるだろうか？
• RQ4 ファジィ条件付き拡散は、標準的な拡散モデルと比較して、顔画像修復における視覚的忠実度と解釈可能性をどの程度向上させるだろうか？
• RQ5 ファジィ条件付けと拡散投影注意の組み合わせにより、完全に自律的かつ事前分布駆動の画像補正が可能になるだろうか？

主な発見

• 提案されたファジィ条件付き拡散は、条件付けの度合いを変化させることで無限に近いサンプリングの多様性を実現し、RePaintのような二値条件付け手法よりも非二値設定で優れた性能を示す。
• 拡散投影注意マップは、劣化モデルの事前知識がなくても、合成された摂動実験でピクセル単位の異常を効果的に検出できた。
• 本手法は顔画像補正において優れた視覚的品質を達成しており、標準的な DDPM よりも顔のアイデンティティや顔貌構造の保持が優れている。
• 補正マップ m(x) は解釈可能であり、各ピクセルにおける幻覚の度合いを視覚的に示しており、値が大きいほど異常度の高い領域を示す。
• モデルは顔の劣化を効果的に補正できるが、指などの非顔対象物を誤って除去する可能性があり、ドメイン特有の制限を示している。
• フレームワークは、劣化モデルを明示的に必要とせず、画像事前分布と学習済みの異常検出のみを用いて、自律的な補正を実現した。