[論文レビュー] EdgeConnect: Generative Image Inpainting with Adversarial Edge Learning

Kamyar Nazeri, Eric Ng+3 more|arXiv (Cornell University)|Jan 1, 2019

Generative Adversarial Networks and Image Synthesis参考文献 53被引用数 583

ひとこと要約

EdgeConnect は欠落領域のエッジを最初に幻視する二段階 GAN アーキテクチャを用い、そこからそのエッジに conditioned して画像を完成させ、CelebA、Places2、Paris StreetView でのインペインティングの最先端を達成します。

ABSTRACT

Over the last few years, deep learning techniques have yielded significant improvements in image inpainting. However, many of these techniques fail to reconstruct reasonable structures as they are commonly over-smoothed and/or blurry. This paper develops a new approach for image inpainting that does a better job of reproducing filled regions exhibiting fine details. We propose a two-stage adversarial model EdgeConnect that comprises of an edge generator followed by an image completion network. The edge generator hallucinates edges of the missing region (both regular and irregular) of the image, and the image completion network fills in the missing regions using hallucinated edges as a priori. We evaluate our model end-to-end over the publicly available datasets CelebA, Places2, and Paris StreetView, and show that it outperforms current state-of-the-art techniques quantitatively and qualitatively. Code and models available at: https://github.com/knazeri/edge-connect

研究の動機と目的

• 微細な構造ディテールを保持したままの再構築を通じて、インペインティングの改善を動機づける。
• 高周波エッジ回復を低周波のカラー/テクスチャと分離するための二段階ネットワーク。
• エンドツーエンドのトレーニングを実証し、標準ベンチマークでの性能を評価する。
• 先行手法に対する優位性を示す定性的・定量的評価を提供する。

提案手法

• G1 と G2 のエッジ生成器と画像完成ネットワークを備えた二段階対向モデル。
• G1 は masked grayscale input とエッジ Priori を用いて欠落領域のエッジを幻視し、 adversarial および feature-matching losses で学習する。
• Canny エッジマップをエッジ生成の訓練ラベルとして使用し、訓練を安定化させるためにスペクトル正規化を適用する。
• G2 は ground-truth 背景エッジと G1 生成エッジを組み合わせた合成エッジマップを条件として画像を完成させ、L1、 adversarial、 perceptual、 style losses で最適化する。
• Discriminators は PatchGAN (70x70) とインスタンス正規化を使用； D1 を用いないエンドツーエンドのファインチューニングで最終的な洗練を行う。
• Edge 情報がインペインティング品質を改善することが示されており、 Canny 偵査の σ パラメータがエッジ量を制御し結果に影響する。

実験結果

リサーチクエスチョン

• RQ1 欠落エッジを幻視したエッジでインペインティングを条件づけると、細部構造の保存とぼかしの低減に寄与するか？
• RQ2 エッジ情報の量と質（Canny σ） はデータセット間でインペインティング性能にどう影響するか？
• RQ3 エンドツーエンドのエッジガイド型インペインティングモデルは標準ベンチマークで既存の最先端手法を上回れるか？
• RQ4 異なるエッジ表現（Canny vs. HED）による結果への影響は？
• RQ5 提案手法 EdgeConnect は irregular マスクと regular マスク、大規模欠落領域に対してどう機能するか？

主な発見

マスク	CA	GLCIC	PConv*	私達の	Canny
10-20%	2.41	2.66	1.14	1.50	1.16
20-30%	4.23	4.70	1.98	2.59	1.88
30-40%	6.15	6.78	3.02	3.77	2.60
40-50%	8.03	8.85	4.11	5.14	3.41
Fixed	4.37	4.12	-	3.86	2.22

• EdgeConnect は Places2 で CA、GLCIC、PConv* に比べて定量的結果が優れており（低い L1、高い SSIM/PSNR、低い FID）、品質の定性的改善を示す。
• インペインティング過程でエッジ情報を用いると、エッジなしベースラインと比較して構造の保存とブラーの低減が改善される。
• Canny エッジの σ ≈ 2 が、エッジの詳細とカバレッジのバランスとして最適である。
• アブレーション研究では、エッジ情報を含む（G2 とエッジあり）場合が CelebA および Places2 データセット全体で指標を一貫して改善した。
• この手法は irregular マスクや複数のオブジェクトを扱い、エッジマップを操作することで対話的編集（オブジェクト除去）にも使用可能。