[論文レビュー] Context-Aware Semantic Inpainting

Haofeng Li, Guanbin Li+2 more|arXiv (Cornell University)|Dec 21, 2017

Generative Adversarial Networks and Image Synthesis参考文献 32被引用数 6

ひとこと要約

本稿では、局所的特徴から得られる知覚的特徴を用いた文脈に配慮した損失を導入することで、空間的構造を保持し、意味的整合性を向上させる、完全畳み込み型GANベースの手法であるコンテキストに配慮した意味的補填（CASI）を提案する。定量的・定性的な評価において、特にエッジの保持、テクスチャの現実性、意味的正確性の面で最先端の手法を上回っている。本手法は、局所エントロピー誤差と意味的誤差を含む、新たな評価指標によっても裏付けられている。

ABSTRACT

Recently image inpainting has witnessed rapid progress due to generative adversarial networks (GAN) that are able to synthesize realistic contents. However, most existing GAN-based methods for semantic inpainting apply an auto-encoder architecture with a fully connected layer, which cannot accurately maintain spatial information. In addition, the discriminator in existing GANs struggle to understand high-level semantics within the image context and yield semantically consistent content. Existing evaluation criteria are biased towards blurry results and cannot well characterize edge preservation and visual authenticity in the inpainting results. In this paper, we propose an improved generative adversarial network to overcome the aforementioned limitations. Our proposed GAN-based framework consists of a fully convolutional design for the generator which helps to better preserve spatial structures and a joint loss function with a revised perceptual loss to capture high-level semantics in the context. Furthermore, we also introduce two novel measures to better assess the quality of image inpainting results. Experimental results demonstrate that our method outperforms the state of the art under a wide range of criteria.

研究の動機と目的

• 完全に畳み込み型の生成器を用いることで、従来の全結合ボトルネックを含むGANベースの意味的補填手法が抱える空間情報の歪みや構造的・意味的整合性の欠落という限界を解消すること。
• 識別器が高レベルの意味的特徴をより的確に評価できるように、損失関数に画像の文脈を組み込むことで、合成されたコンテンツと周囲の文脈との整合性を高めること。
• 従来のL2やPSNR指標を超えて、シャープネスと意味的妥当性をより的確に評価できる新たな定量的指標（局所エントロピー誤差と意味的誤差）を開発すること。
• 完全畳み込み型生成器と、知覚損失を含む統合損失関数を組み合わせることで、画像補填分野における最先端の性能を達成すること。

提案手法

• 生成器は全結合層を含まず、完全畳み込み型アーキテクチャを採用しており、空間的構造を保持するとともに、可変サイズの入力処理が可能である。
• 合成領域とその周囲の文脈を組み合わせた合成画像に対して、事前学習済みネットワークの高レベル特徴を用いて知覚的損失を計算することで、文脈に配慮した損失を導入する。
• 統合損失関数には、合成画像と正例画像の深層特徴空間における類似度を測る知覚的損失項が含まれており、意味的整合性の向上に寄与する。
• 局所エントロピー誤差は、合成領域の9×9近傍における局所エントロピーのMSEまたはMAEとして定義され、ぼんやりとした結果に対してより正確にペナルティを課す。
• 意味的誤差（SME）は、事前学習済み画像分類器による正例画像と合成画像の確信度スコアの間のヘッジ損失として計算され、意味的妥当性を測定する。
• モデルは、敵対的損失、L2損失、知覚的損失の組み合わせで訓練され、知覚的損失と再構成忠実度のバランスを取るためにハイパーパrameter λper が調整されている。

実験結果

リサーチクエスチョン

• RQ1 自己符号化器モデルが全結合ボトルネックを用いるのと比較して、完全畳み込み型生成器アーキテクチャが意味的補填における空間的構造の保持に寄与するか。
• RQ2 識別器の入力に画像全体の文脈を組み込むことで、生成領域の構造的・意味的整合性が向上するか。
• RQ3 合成領域と文脈を組み合わせた合成画像上で計算される知覚的損失が、単に合成領域のみを対象とする従来の知覚的損失よりも、高レベルの意味的特徴をよりよく捉えられるか。
• RQ4 局所エントロピー誤差は、L2やPSNRよりも、ぼんやりとした補填結果をより的確に検出できる指標として有効か。
• RQ5 事前学習済み分類器が正例カテゴリに対して示す確信度に基づく意味的誤差は、補填内容の意味的妥当性を効果的に測定できるか。

主な発見

• CASIは、すべての手法の中で最高のSSIM、FSIM、FSIMcスコアを達成しており、補填結果の構造的・視覚的品質が優れていることを示している。
• CASIのLEMSEおよびLEMAEは、すべての手法の中で最小であり、ベースラインと比較して、よりシャープでぼやけにくい結果を生成できることを確認した。
• ResNetおよびVGG分類器を用いた評価において、CASIは最小の意味的誤差（SME）を達成しており、意味的に正しいコンテンツの復元能力を示している。
• λper = 0.4のとき、CASIは局所エントロピー誤差において最良のバランスを達成したが、λper = 0.7では意味的誤差および類似度指標で最良の性能を示しており、シャープネスと意味的整合性の間のトレードオフが明らかになった。
• 提案された局所エントロピー誤差と意味的誤差の指標は、それぞれぼやけた補填結果と意味的不整合を的確に検出でき、視覚的品質と良好な相関を示した。
• CASIは、従来の指標に加え、新たに提案された指標を含め、多様な補填シナリオにおいて、すべての評価基準で最先端の手法を上回った。