[논문 리뷰] Semantic Image Inpainting with Perceptual and Contextual Losses.

Raymond A. Yeh, Chen Chen외 3명|arXiv (Cornell University)|2016. 07. 26.

Generative Adversarial Networks and Image Synthesis참고 문헌 38인용 수 318

한 줄 요약

이 논문은 문맥적 손실과 인지적 손실의 조합된 손실 함수를 사용하여 결손 영역을 의미론적으로 정확하고 사진처럼 현실적인 품질로 복원하는 DCGAN 기반 이미지 복원 방법을 제안한다. 이 손실 함수를 역전파를 통해 최적화하여 손상된 이미지를 잠재 공간으로 매핑함으로써, 의미적으로 일관되고 현실적인 출력을 생성하며, 랜덤 및 블록형 손상 상황에서 80%의 손실이 발생할 경우 CelebA 및 SVHN에서 기존 방법들을 능가한다.

ABSTRACT

In this paper, we propose a novel method for image inpainting based on a Deep Convolutional Generative Adversarial Network (DCGAN). We define a loss function consisting of two parts: (1) a contextual loss that preserves similarity between the input corrupted image and the recovered image, and (2) a perceptual loss that ensures a perceptually realistic output image. Given a corrupted image with missing values, we use back-propagation on this loss to map the corrupted image to a smaller latent space. The mapped vector is then passed through the generative model to predict the missing content. The proposed framework is evaluated on the CelebA and SVHN datasets for two challenging inpainting tasks with random 80% corruption and large blocky corruption. Experiments show that our method can successfully predict semantic information in the missing region and achieve pixel-level photorealism, which is impossible by almost all existing methods.

연구 동기 및 목표

• 결손 영역에서 의미론적으로 유의미하고 사진처럼 현실적인 콘텐츠를 복원하는 도전 과제를 해결하기 위해.
• 의미론적 구조와 시각적 현실감을 모두 유지하지 못하는 기존 복원 방법을 개선하기 위해.
• 이미지 복원에서 구조적 유사성과 인지적 품질 간의 균형을 맞추는 손실 함수를 개발하기 위해.
• 특히 80%의 픽셀 손실이나 큰 블록형 가림이 발생하는 극한의 손상 상황에서도 효과적인 콘텐츠 생성을 가능하게 하기 위해.

제안 방법

• 이 방법은 이미지 생성을 위해 심층 합성곱 생성 적대 신경망(DCGAN)을 활용한다.
• 손상된 입력과 복원된 출력 간의 유사성을 특징 공간에서 유지하기 위해 문맥적 손실을 정의한다.
• 사전 훈련된 네트워크의 특징을 사용하여 생성된 이미지가 실제 이미지와 인지적 품질에서 유사하도록 보장하기 위해 인지적 손실을 사용한다.
• 손상된 이미지를 잠재 벡터로 매핑하기 위해 이 조합된 손실 함수를 역전파를 통해 최적화한다.
• 이 잠재 벡터는 이후 생성기에서 디코딩되어 완성된 이미지를 생성한다.
• 이 프레임워크는 두 가지 손상 시나리오(랜덤 80% 손상 및 큰 블록형 손상)에서 CelebA 및 SVHN 데이터셋을 대상으로 훈련 및 평가된다.

실험 결과

연구 질문

• RQ1 문맥적 손실과 인지적 손실의 조합이 이미지 복원에서 의미론적 품질과 인지적 품질을 향상시키는가?
• RQ2 80% 픽셀 손실과 같은 높은 수준의 손상 상황에서 이 방법은 얼마나 잘 일반화되는가?
• RQ3 이전 방법들이 실패하는 영역에서도 의미론적으로 의미 있는 콘텐츠를 복원할 수 있는가?
• RQ4 손실 함수를 통해 역전파를 수행함으로써 효과적인 잠재 공간 매핑이 가능한가?
• RQ5 시각적 현실감과 구조적 정확성 측면에서 기존 접근법과 비교해 본다면, 제안된 방법은 어떠한가?

주요 결과

• 제안된 방법은 결손 영역에서 의미론적 콘텐츠를 성공적으로 복원하여, 거의 모든 기존 방법이 달성하지 못한 결과를 도출한다.
• 모델은 픽셀 수준의 사진처럼 현실적인 품질을 생성하여 기존 접근법보다 시각적 품질을 크게 향상시킨다.
• CelebA 및 SVHN에서의 실험을 통해 랜덤 80% 손상과 큰 블록형 손상 상황 모두에서 뛰어난 성능을 보였다.
• 문맥적 손실과 인지적 손실의 조합은 구조적 일관성과 인지적 일관성의 보존에 더 효과적이다.
• 의미적으로 일관되고 시각적으로 현실적인 이미지 완성 측면에서 최신 기술 수준의 성능을 달성한다.
• 결손 영역에서 현실적인 질감과 객체 수준의 구조를 생성하는 데서도 기존 기술들을 능가한다.