[논문 리뷰] EdgeConnect: Generative Image Inpainting with Adversarial Edge Learning

Kamyar Nazeri, Eric Ng외 3명|arXiv (Cornell University)|2019. 01. 01.

Generative Adversarial Networks and Image Synthesis참고 문헌 53인용 수 583

한 줄 요약

EdgeConnect는 먼저 누락된 영역의 에지를 환상화하고 그 에지를 조건으로 이미지를 완성하는 두 단계 GAN 아키텍처를 사용하여 CelebA, Places2 및 Paris StreetView에서 최첨단 인페인팅을 달성한다.

ABSTRACT

Over the last few years, deep learning techniques have yielded significant improvements in image inpainting. However, many of these techniques fail to reconstruct reasonable structures as they are commonly over-smoothed and/or blurry. This paper develops a new approach for image inpainting that does a better job of reproducing filled regions exhibiting fine details. We propose a two-stage adversarial model EdgeConnect that comprises of an edge generator followed by an image completion network. The edge generator hallucinates edges of the missing region (both regular and irregular) of the image, and the image completion network fills in the missing regions using hallucinated edges as a priori. We evaluate our model end-to-end over the publicly available datasets CelebA, Places2, and Paris StreetView, and show that it outperforms current state-of-the-art techniques quantitatively and qualitatively. Code and models available at: https://github.com/knazeri/edge-connect

연구 동기 및 목표

• 에지 가이드 재구성을 통해 미세한 구조적 디테일을 보존함으로써 인페인팅의 개선을 동기화한다.
• 두 단계 네트워크를 통해 고주파 에지 복구와 저주파 색상/질감의 분리를 달성한다.
• 엔드투엔드 학습을 시연하고 표준 벤치마크에서 성능을 평가한다.
• 선행 방법들에 비해 우수함을 보이는 정성적 및 정량적 평가를 제공한다.

제안 방법

• 에지 생성기 G1과 이미지 완성 네트워크 G2를 갖는 이단계 적대적 모델.
• G1은 마스크된 그레이스케일 입력과 에지 사전 정보를 사용하여 누락 영역의 에지를 환상화하고, 적대적 손실과 특징 매칭 손실로 학습된다.
• 학습 라벨로 Canny 에지 맵을 사용하고, 학습 안정화를 위해 스펙트럴 정규화를 적용한다.
• G2는 실제 배경 에지와 G1이 생성한 에지를 결합한 합성 에지 맵에 조건화해 이미지를 완성하고, L1, 적대적, 지각적( perceptual ), 스타일 손실로 최적화된다.
• 판별기는 PatchGAN(70x70)과 인스턴스 정규화를 사용하며, 최종 정제를 위해 D1 없이 엔드 투 엔드 미세조정한다.
• 에지 정보가 인페인팅 품질을 향상시키는 것으로 보이며, Canny 검출기의 σ 매개변수는 에지 양을 제어하고 결과에 영향을 준다.

실험 결과

연구 질문

• RQ1 환상화된 에지로 이미지 인페인팅을 조건화하는 것이 미세한 구조의 보존 증가와 흐림 감소에 기여하는가?
• RQ2 에지 정보의 양과 품질(Canny σ를 통해)이 데이터셋 전반에 걸친 인페인팅 성능에 어떤 영향을 미치는가?
• RQ3 엔드투엔드 에지-가이드 인페인팅 모델이 표준 벤치마크에서 기존 최첨단 방법을 능가할 수 있는가?
• RQ4 다른 에지 표현(Canny 대 HED)이 결과에 미치는 영향은 무엇인가?
• RQ5 제안된 EdgeConnect가 불규칙한 마스크와 규칙적인 마스크 및 큰 누락 영역에서 어떻게 작동하는가?

주요 결과

마스크	CA	GLCIC	PConv*	저자 제안	Canny
10-20%	2.41	2.66	1.14	1.50	1.16
20-30%	4.23	4.70	1.98	2.59	1.88
30-40%	6.15	6.78	3.02	3.77	2.60
40-50%	8.03	8.85	4.11	5.14	3.41
Fixed	4.37	4.12	-	3.86	2.22

• EdgeConnect는 Places2에서 CA, GLCIC, PConv에 비해 더 낮은 L1, 더 높은 SSIM/PSNR, 더 낮은 FID의 정량적 성과를 달성하고 정성적 개선도 입증한다.
• 인페인팅 과정에서 에지 정보를 사용하면 에지 없는 기준선에 비해 구조 보존 및 흐림 감소에 유리하다.
• Canny 에지의 σ가 대략 2일 때 에지 상세와 커버리지가 가장 잘 균형을 이뤄 에지 생성과 이후 인페인팅에 최적이다.
• 에지 정보를 포함한 경우(G2 with edges)가 CelebA와 Places2 데이터셋 전반에서 일관되게 지표를 개선하는 것으로 나타난다.
• 이 방법은 불규칙한 마스크와 다중 객체를 처리하며 에지 맵을 조작해 대화형 편집(객체 제거)에 사용할 수 있다.