[論文レビュー] Learning Pyramid-Context Encoder Network for High-Quality Image Inpainting

Yanhong Zeng, Fu Jianlong+2 more|arXiv (Cornell University)|Apr 16, 2019

Generative Adversarial Networks and Image Synthesis被引用数 7

ひとこと要約

この論文では、クロスレイヤー注意特徴転送とピラミッドフィリングを組み合わせることで、意味的整合性と視覚的リアリズムの両方を向上させる、U-Netに基づく新規なアーキテクチャPEN-Netを提案する。深層から浅層への注意誘導特徴の段階的転送と、敵対的学習を用いたマルチスケール監視により、複数のベンチマークで最先端の性能を達成し、定量的指標およびユーザースタディーの両面で従来手法を上回った。

ABSTRACT

High-quality image inpainting requires filling missing regions in a damaged image with plausible content. Existing works either fill the regions by copying image patches or generating semantically-coherent patches from region context, while neglect the fact that both visual and semantic plausibility are highly-demanded. In this paper, we propose a Pyramid-context ENcoder Network (PEN-Net) for image inpainting by deep generative models. The PEN-Net is built upon a U-Net structure, which can restore an image by encoding contextual semantics from full resolution input, and decoding the learned semantic features back into images. Specifically, we propose a pyramid-context encoder, which progressively learns region affinity by attention from a high-level semantic feature map and transfers the learned attention to the previous low-level feature map. As the missing content can be filled by attention transfer from deep to shallow in a pyramid fashion, both visual and semantic coherence for image inpainting can be ensured. We further propose a multi-scale decoder with deeply-supervised pyramid losses and an adversarial loss. Such a design not only results in fast convergence in training, but more realistic results in testing. Extensive experiments on various datasets show the superior performance of the proposed network

研究の動機と目的

• 視覚的にリアリスティックで意味的に整合性のある高品質な画像補填結果を生成する課題に対処すること。
• 既存手法の限界を克服すること。具体的には、パッチをコピーする方法（意味的欠如）や、コンact特徴から生成する方法（詳細喪失）である。
• 階層的で注意誘導の特徴転送により、特徴符号化と復元を強化することで、U-Netベースの補填を改善すること。
• ピラミッドフィリング機構を用いて複数スケールで欠損領域を段階的に補填することで、細粒度のディテール回復を確保すること。
• 深層監視のマルチスケール損失と敵対的学習を組み合わせることで、収束速度の向上とよりリアルな結果の達成を図ること。

提案手法

• モデルはU-Netバックボーンを用い、低レベルの画素から高レベルの意味的特徴へと画像コンテキストを符号化し、逆に特徴を再構成して完全な画像へと復元する。
• ピラミッドコンテキストエンコーダは、注意特徴転送ネットワーク（ATN）を用い、高レベル特徴からの領域類似度を学習し、重み付きコピーにより関連する特徴を低レベル特徴マップに転送する。
• ATNによりクロスレイヤー注意特徴転送が実現され、深層の意味的特徴が浅層の高解像度レイヤーでの特徴再構築を誘導する。
• マルチスケールデコーダはスキップ接続と潜在変数からの特徴を処理し、複数スケールでのピラミッドL1損失を用いて予測を段階的に精緻化する。
• 生成画像のリアリズムを向上させるために、識別器を用いた敵対的学習が適用される。
• ネットワークは、深層監視のピラミッドL1損失と敵対的損失の組み合わせにより最適化され、収束速度の向上とより良い一般化性能が達成される。

実験結果

リサーチクエスチョン

• RQ1 高レベルの意味的特徴を活用することで、クロスレイヤー注意特徴転送が、低レベルのディテール回復に向けた特徴再構築を改善できるか？
• RQ2 深層から浅層へと段階的に特徴を精緻化するピラミッドフィリング機構が、生成画像領域の品質を向上させるか？
• RQ3 マルチスケール監視と敵対的学習が、併せて収束速度の向上とリアリズムの向上を達成できるか？
• RQ4 本手法は、パッチベースおよび潜在特徴ベースのアプローチと比較して、意味的整合性と視覚的妥当性のバランスをどのように維持しているか？
• RQ5 本モデルは、多様な補填シナリオにおいて、細粒度のテクスチャと構造的ディテールをどの程度保持しているか？

主な発見

• ユーザースタディーにおいて、PEN-Netはペア比較の82.10%で他の手法よりも自然であると評価され、PatchMatch（40.15%）やPConv（23.70%）を著しく上回った。
• DTDデータセットでは、32×32マスクを用いたPEN-Netの補填結果の82.23%が人間評価者によって「本物」と分類された。これは、強い視覚的リアリズムを示している。
• 128×128マスクを用いた場合でも、PEN-Netの結果の32.70%が依然として「本物」と判定された。これは、大規模な欠損領域に対しても強力であることを示している。
• アブレーションスタディーでは、ATNとピラミッドフィリングの併用によりFIDが26.38（単一ATN）から15.19に低下した。これは、優れた生成品質を示している。
• マルチスケールデコーダにピラミッドL1損失を適用することで、異なるスケールでの復元プロセスの可視化が可能となり、段階的精緻化が実現された。
• 注意特徴転送機構により、欠損領域に一貫性のあるパッチが適切に補填された。一方、ヴァニラU-NetやCAでは、浅層での妥当なコンテンツ再構築に失敗した。