[논문 리뷰] Context-Aware Semantic Inpainting

Haofeng Li, Guanbin Li외 2명|arXiv (Cornell University)|2017. 12. 21.

Generative Adversarial Networks and Image Synthesis참고 문헌 32인용 수 6

한 줄 요약

이 논문은 시각적 특징을 사용하는 맥락 인식 손실을 통해 공간적 구조를 유지하고 의미 일致성을 향상시키는, 완전 컨volution 신경망 기반의 Context-Aware Semantic Inpainting (CASI)을 제안한다. 질적 및 양적 평가에서 기존 최고 수준의 방법들을 능가하며, 특히 가장자리 유지, 질감의 현실성, 의미 정확성에서 뛰어난 성능을 보이며, 지역 엔트로피 오차 및 의미 오차와 같은 새로운 평가 지표를 통해 검증된다.

ABSTRACT

Recently image inpainting has witnessed rapid progress due to generative adversarial networks (GAN) that are able to synthesize realistic contents. However, most existing GAN-based methods for semantic inpainting apply an auto-encoder architecture with a fully connected layer, which cannot accurately maintain spatial information. In addition, the discriminator in existing GANs struggle to understand high-level semantics within the image context and yield semantically consistent content. Existing evaluation criteria are biased towards blurry results and cannot well characterize edge preservation and visual authenticity in the inpainting results. In this paper, we propose an improved generative adversarial network to overcome the aforementioned limitations. Our proposed GAN-based framework consists of a fully convolutional design for the generator which helps to better preserve spatial structures and a joint loss function with a revised perceptual loss to capture high-level semantics in the context. Furthermore, we also introduce two novel measures to better assess the quality of image inpainting results. Experimental results demonstrate that our method outperforms the state of the art under a wide range of criteria.

연구 동기 및 목표

• 기존의 완전히 연결된 블로킹을 사용하는 GAN 기반 의미 보정 방법의 한계를 해결하기 위해, 공간 정보를 왜곡하고 구조적·의미적 일致성을 유지하지 못하는 문제를 해결한다.
• 판별자에게 고수준 의미를 더 잘 평가할 수 있도록 손실 함수에 이미지 맥락을 통합함으로써, 생성된 콘텐츠와 주변 맥락 간의 보다 우아한 일치를 보장한다.
• 기존의 L2 및 PSNR 지표를 넘어서 날카움과 의미 타당성을 더 잘 평가할 수 있는 새로운 정량적 지표인 지역 엔트로피 오차와 의미 오차를 개발한다.
• 완전 컨volution 생성자와 병합된 공동 손실 함수를 통해 이미지 보정 분야에서 최고 성능을 달성한다.

제안 방법

• 생성자는 완전히 연결된 레이어 없이 완전 컨볼루션 아키텍처를 사용하여 공간적 구조를 유지하고 가변 입력 크기 처리를 가능하게 한다.
• 합성 영역과 그 주변 맥락을 조합하여 복합 이미지를 생성하고, 사전 훈련된 네트워크의 고수준 특징을 사용해 복합 이미지에 대해 인식 손실을 계산함으로써 맥락 인식 손실을 도입한다.
• 공동 손실 함수에는 복합 이미지와 진짜 이미지 간의 깊은 특징 공간에서의 유사도를 측정하는 인식 손실 항목이 포함되어 있어 의미 일치성을 향상시킨다.
• 지역 엔트로피 오차는 합성 영역 내 9×9 이웃 영역의 지역 엔트로피에 대한 MSE 또는 MAE로 정의되며, 더 정확하게 뿌연 결과를 방지하기 위해 사용된다.
• 의미 오차(SME)는 사전 훈련된 이미지 분류기의 진짜 이미지와 합성 이미지에 대한 신뢰도 점수 간 허프 손실로 계산되며, 의미 정확성을 측정한다.
• 모델은 적대적 손실, L2 손실, 인식 손실의 조합으로 훈련되며, 인식 및 재구성 정밀도 간 균형을 맞추기 위해 하이퍼파rameter λper 가 조정된다.

실험 결과

연구 질문

• RQ1 완전 컨볼루션 생성자 아키텍처는 완전히 연결된 블로킹이 있는 오토인코더 모델 대비 의미 보정에서 공간적 구조 유지에 있어 향상된 성능을 보일 수 있는가?
• RQ2 판별자의 입력에 전체 이미지 맥락을 통합함으로써 생성 영역의 구조적·의미적 일치성이 향상되는가?
• RQ3 합성 영역 + 맥락의 복합 이미지에 대해 계산된 인식 손실은 기존의 합성 영역 자체에만 적용되는 표준 인식 손실보다 고수준 의미를 더 잘 포착할 수 있는가?
• RQ4 지역 엔트로피 오차는 L2나 PSNR보다 더 정확하게 과도하게 부드럽게 보정된 결과를 탐지할 수 있는가?
• RQ5 사전 훈련된 분류기의 진짜 카테고리에 대한 신뢰도를 기반으로 한 의미 오차는 보정된 콘텐츠의 의미 타당성을 효과적으로 측정할 수 있는가?

주요 결과

• CASI는 모든 방법 중에서 가장 높은 SSIM, FSIM, FSIMc 점수를 기록하여 보정 결과의 구조적 및 시각적 품질이 뛰어남을 나타낸다.
• CASI의 LEMSE 및 LEMAE는 모든 방법 중에서 가장 낮아, 기존 기준 대비 더 날카우며 더 뿌연 결과가 아닌 성능을 보임을 확인한다.
• ResNet 및 VGG 분류기 모두에서 CASI는 가장 작은 의미 오차(SME)를 기록하여 의미적으로 정확한 콘텐츠 복원 능력을 입증한다.
• λper = 0.4일 때 CASI는 지역 엔트로피 오차에서 최적의 균형을 달성하고, λper = 0.7일 때는 의미 오차 및 유사도 지표에서 최고 성능을 보이며 날카움과 의미 간의 상충 관계를 보여준다.
• 제안된 지역 엔트로피 오차 및 의미 오차 지표는 각각 과도한 부드러움과 의미 불일치를 효과적으로 탐지하며, 시각적 품질과 잘 상관된다.
• 다양한 보정 시나리오에서 기존 최고 수준의 방법들과 비교해 모든 평가 기준(기존 지표 및 신규 제안 지표 포함)에서 CASI가 승리한다.