[論文レビュー] Semantic Image Inpainting with Deep Generative Models

Raymond A. Yeh, Chen Chen+4 more|arXiv (Cornell University)|Jul 26, 2016

Generative Adversarial Networks and Image Synthesis被引用数 69

ひとこと要約

本論文は、潜在空間最適化を介して破損画像を条件とする深層生成的手法を提案し、文脈および事前分布損失を用いて大規模な欠損領域における現実的で意味論的なコンテンツを推定する。推論時にマスク情報が不要であるため、特に複雑で任意の形状の穴に対して、最先端の手法（例：Context Encoder）を上回る知覚的品質と現実性を達成する。

ABSTRACT

Semantic image inpainting is a challenging task where large missing regions have to be filled based on the available visual data. Existing methods which extract information from only a single image generally produce unsatisfactory results due to the lack of high level context. In this paper, we propose a novel method for semantic image inpainting, which generates the missing content by conditioning on the available data. Given a trained generative model, we search for the closest encoding of the corrupted image in the latent image manifold using our context and prior losses. This encoding is then passed through the generative model to infer the missing content. In our method, inference is possible irrespective of how the missing content is structured, while the state-of-the-art learning based method requires specific information about the holes in the training phase. Experiments on three datasets show that our method successfully predicts information in large missing regions and achieves pixel-level photorealism, significantly outperforming the state-of-the-art methods.

研究の動機と目的

• 大規模で任意の形状の領域が欠損している状況における意味的画像補完の課題に取り組む。これは、局所的な画像事前知識を超えた高レベルな意味論的理解を必要とする。
• 単一画像補完手法の限界を克服する。特に、文脈的・構造的情報が不足するため、大規模な穴に対しては失敗する。
• 穴の形状や構造に依存しない汎用的な手法を構築する。推論時に穴のマスク情報や特化した訓練データを必要としない。
• 敵対的学習と潜在空間最適化を用いることで、Context Encoderを上回る、より鋭い描写と現実的な結果を実現する。
• 画像の文脈と潜在空間内の学習済み画像事前分布を条件として用いることで、頑健で知覚的に優れた画像補完を実現する。

提案手法

• 自然画像のデータセット上で深層生成モデル（特にGAN）を学習し、画像の潜在的多様体を学習する。
• 欠損領域を含む破損画像に対して、文脈損失と事前分布損失の重み付き組み合わせを最小化することで、潜在空間内での最も近い潜在コードを探索する。
• 文脈損失により、再構築された画像が入力の既知部分と一致し、構造的一致性が保たれる。
• 事前分布損失により、識別器が本物と生成画像を区別できる能力を活用して、現実的でない画像サンプルをペナルティ処理する。
• 最適化された潜在コードを用いて、訓練済みの生成器により完全な画像を生成し、高精度で写真的再現性の高い補完を実現する。
• 本手法は完全にエンドツーエンドであり、推論時にマスク情報が不要であるため、任意の形状の穴に適用可能である。

実験結果

リサーチクエスチョン

• RQ1 大規模で任意の形状の画像領域における欠損した意味的コンテンツを、深層生成モデルが効果的に推定できるか。
• RQ2 推論時に明示的なマスクの監視を必要とせずに、破損入力に条件づけた画像生成をどのように実現できるか。
• RQ3 事前学習済みのGANの潜在コードを文脈損失と事前分布損失に基づいて最適化することで、固定アーキテクチャでのエンドツーエンド学習に比べ、より現実的で鋭い補完結果が得られるか。
• RQ4 本手法は、Context Encoderのような既存の学習ベース手法に比べて、知覚的品質および構造的忠実度の面でどの程度優れているか。
• RQ5 真値が一意でない場合に、PSNR や SSIM といった定量的指標が、人間の知覚とどの程度相関するか。

主な発見

• 本手法は、Context Encoder よりも顕著に優れた知覚的品質を達成し、特に大規模または不規則な形状の穴に対して、より鋭いエッジとより少ないアーティファクトを生成する。
• CelebA、SVHN、Stanford Cars データセットにおいて、本手法は視覚的現実性において最先端の Context Encoder を上回る。PSNR 値が一部のケースで低いにもかかわらずである。
• 最大80％のピクセルが欠損するランダムマスクに対しても、本手法は Context Encoder よりも高いPSNR（例：SVHNで33.0 dB）を達成しており、高汚染状態下での再構築忠実度が優れていることを示している。
• 定性的な比較および誤差解析により、本手法は Context Encoder よりも視覚的により現実的な結果を生成していることが確認された。一部のケースでPSNRが低いのは、生成コンテンツの分布的差異によるものである。
• 生成モデルが文脈的および事前分布制約を両方満たす潜在多様体内に有効な潜在コードを特定できない場合に、失敗ケースが発生する。特に、モデルの能力を超える複雑なシーンで顕著である。
• PSNR や SSIM といった定量的指標は、常に知覚的品質を反映しているわけではない。Context Encoder がより高いPSNR値を示しても、視覚的結果が優れているとは限らず、意味的補完における従来の指標の限界を示している。