[論文レビュー] Semantic Image Inpainting with Perceptual and Contextual Losses.

Raymond A. Yeh, Chen Chen+3 more|arXiv (Cornell University)|Jul 26, 2016

Generative Adversarial Networks and Image Synthesis参考文献 38被引用数 318

ひとこと要約

本論文は、文脈的損失と知覚的損失の組み合わせ損失関数を用いたDCGANベースの画像補完手法を提案する。この手法により、欠損領域を意味的に正確かつ写真的にリアルな品質で回復できる。逆誤差伝搬を用いてこの損失を最適化することで、汚損画像を潜在空間にマッピングし、意味的に整合的で現実的な出力を生成する。CelebAおよびSVHNデータセットにおいて、80%のランダムおよびブロック型汚損条件下で、既存手法を上回る性能を発揮する。

ABSTRACT

In this paper, we propose a novel method for image inpainting based on a Deep Convolutional Generative Adversarial Network (DCGAN). We define a loss function consisting of two parts: (1) a contextual loss that preserves similarity between the input corrupted image and the recovered image, and (2) a perceptual loss that ensures a perceptually realistic output image. Given a corrupted image with missing values, we use back-propagation on this loss to map the corrupted image to a smaller latent space. The mapped vector is then passed through the generative model to predict the missing content. The proposed framework is evaluated on the CelebA and SVHN datasets for two challenging inpainting tasks with random 80% corruption and large blocky corruption. Experiments show that our method can successfully predict semantic information in the missing region and achieve pixel-level photorealism, which is impossible by almost all existing methods.

研究の動機と目的

• 欠損領域における意味的に意味のある内容と写真的リアルな品質の回復という課題に対処すること。
• 意味構造と視覚的リアリズムの両方を保持できない既存の補完手法の改善に寄与すること。
• 画像再構成における構造的類似性と知覚的品質のバランスを取る損失関数の開発。
• 80%のピクセル欠損や大規模なブロック型オクルージョンといった極端な汚損状況下でも、欠損内容の効果的な生成を可能にすること。

提案手法

• 画像生成に深層畳み込み生成対抗ネットワーク（DCGAN）を採用する。
• 特徴空間における汚損入力と回復出力の類似性を保つために、文脈的損失を定義する。
• 事前学習済みネットワークの特徴を用いて、生成画像が実際の画像と知覚的に類似していることを保証するため、知覚的損失を用いる。
• 逆誤差伝搬を用いて、この組み合わせ損失を最適化し、汚損画像を潜在ベクトルにマッピングする。
• この潜在ベクトルは、その後、生成器によって復元画像にデコードされる。
• フレームワークは、ランダムな80%汚損および大規模なブロック型汚損の2つの汚損シナリオにおいて、CelebAおよびSVHNデータセットで訓練および評価される。

実験結果

リサーチクエスチョン

• RQ1 文脈的損失と知覚的損失の組み合わせ損失が、画像補完における意味的品質と知覚的品質の両方を向上させることができるか？
• RQ2 80%のピクセル欠損といった高い汚損レベルに対しても、この手法はどれほど一般化性能を示すか？
• RQ3 従来手法が失敗するような領域において、モデルは意味的に意味のある内容を回復できるか？
• RQ4 損失関数を介した逆誤差伝搬により、画像補完のための効果的な潜在空間マッピングが可能になるか？
• RQ5 視覚的リアリズムと構造的忠実度の観点から、本手法は既存手法と比べてどのように優れているか？

主な発見

• 提案手法は、ほとんどすべての既存手法が到達できないレベルで、欠損領域における意味的コンテンツの回復に成功している。
• モデルはピクセル単位の写真的リアリズムを実現し、先行研究と比較して顕著に視覚的品質が向上している。
• CelebAおよびSVHNにおける実験により、ランダムな80%汚損および大規模なブロック型汚損の両状況下でも、頑健な性能を示している。
• 文脈的損失と知覚的損失の組み合わせにより、構造的および知覚的整合性のより良い保持が達成されている。
• 意味的に整合的で視覚的にリアルな画像補完の分野で、最先端の結果を達成している。
• 欠損領域におけるリアルなテクスチャとオブジェクトレベルの構造の生成において、既存技術を上回っている。