[論文レビュー] From Posterior Sampling to Meaningful Diversity in Image Restoration

Noa Cohen, H Manor+2 more|arXiv (Cornell University)|Oct 24, 2023

Advanced Image Processing Techniques被引用数 4

ひとこと要約

この論文は、多様な画像修復における一般的な事後サンプリングの実践に挑戦し、重い尾を持つ分布のため、意味的に冗長な出力を生じると主張する。本稿では、意味的な差を最大化することで意味的に多様な修復を生成するための事後処理技術と、軽量な拡散ベースの手法を提案し、ユーザー研究において事後サンプリングを顕著に上回る結果を得た。

ABSTRACT

Image restoration problems are typically ill-posed in the sense that each degraded image can be restored in infinitely many valid ways. To accommodate this, many works generate a diverse set of outputs by attempting to randomly sample from the posterior distribution of natural images given the degraded input. Here we argue that this strategy is commonly of limited practical value because of the heavy tail of the posterior distribution. Consider for example inpainting a missing region of the sky in an image. Since there is a high probability that the missing region contains no object but clouds, any set of samples from the posterior would be entirely dominated by (practically identical) completions of sky. However, arguably, presenting users with only one clear sky completion, along with several alternative solutions such as airships, birds, and balloons, would better outline the set of possibilities. In this paper, we initiate the study of meaningfully diverse image restoration. We explore several post-processing approaches that can be combined with any diverse image restoration method to yield semantically meaningful diversity. Moreover, we propose a practical approach for allowing diffusion based image restoration methods to generate meaningfully diverse outputs, while incurring only negligent computational overhead. We conduct extensive user studies to analyze the proposed techniques, and find the strategy of reducing similarity between outputs to be significantly favorable over posterior sampling. Code and examples are available at https://noa-cohen.github.io/MeaningfulDiversityInIR.

研究の動機と目的

• 事後サンプリングを用いた多様な画像修復における概念的欠陥を特定すること。特に、高確率で意味的に類似した出力が支配的になること。
• 画像補完やスーパーレゾリューションなどのタスクにおいて、標準的な事後サンプリングが、妥当な意味的解決策の全範囲を表現できない理由を分析すること。
• 意味的に多様で、知覚的に意味のある画像修復を生成する実用的な事後処理および生成戦略を開発すること。
• ユーザー研究を通じてこれらの戦略を評価し、解決策の多様性を伝える点で、事後サンプリングを上回ることを実証すること。

提案手法

• 特徴空間における意味的距離を最大化するように、遠くの点抽出（FPS）を用いたサブサンプリング戦略を提案し、事後サンプルの集合から多様な出力を選択する。
• 知覚的類似性に基づいて修復出力を階層的に構造化するツリー型の探索構造を導入し、ユーザーが多段階でインタラクティブに多様な解決策を探索できるようにする。
• 逆ノイズ除去プロセスを変更して意味的に異なるサンプルを好むようにする、多様性ガイド付きの拡散ベース生成手法を開発。計算コストの増加は最小限に抑えられる。
• 事前学習済みの属性予測器を用いた特徴空間距離（例：属性予測器）を用いて、意味的類似性を測定し、サブサンプリングおよびツリー構築をガイドする。
• 最近傍パーティショニングを用いて、残りの画像を階層的ツリー内の代表的なサンプルに割り当て、細粒度の意味的グルーピングを保証する。
• DDRMsやRePaintなどの既存の拡散モデルを用いて、画像補完、スーパーレゾリューション、圧縮アーティファクト低減の複数のタスクに本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 なぜ画像修復における事後サンプリングは、多数のサンプルを生成しても、しばしば知覚的に多様な出力を生じないのか？
• RQ2 画像修復における「意味的多様性」の定義は何か？ そして、それを定量的に測定または達成する方法は何か？
• RQ3 FPSのような事後処理技術が、既存の生成モデルからの出力の知覚的多様性を顕著に向上させられるか？
• RQ4 計算コストを最小限に抑えながら、拡散ベースモデルで意味的に多様な生成を可能にするのは可能か？
• RQ5 ユーザーは、現実の画像修復タスクにおいて、意味的に多様な修復出力と事後サンプリングの出力をどのように認識し、好むか？

主な発見

• 画像修復における事後サンプリングは、高確率で意味的に類似した出力（例：補完タスクでの複数の空の領域の完成）に支配され、知覚的多様性が低い。
• ユーザー研究の結果、意味的距離を最大化する戦略（例：FPS）は、事後サンプリングよりも解決策の多様性を伝える点で顕著に好まれることがわかった。
• 提案された階層的ツリー構造により、ユーザーは直感的かつインタラクティブに多様な修復出力を探索でき、意味的に類似した代替案にまで深く掘り下げられるようになった。
• 拡散ベースの多様性ガイド付き手法は、推論時間の増加が最小限に抑えられ、実世界での導入に実用的であることが示された。
• FPS や一様化といったサブサンプリング手法は、複数のデータセットおよびタスクにおいて、質的・定量的両面でネイティブな事後サンプリングを上回った。
• 事後サンプリングが表現できない稀な属性（例：表情、アクセサリー、物体）ですら、本手法は意味的に多様な属性を的確に捉えることができた。