[논문 리뷰] Semantic Image Inpainting with Deep Generative Models

Raymond A. Yeh, Chen Chen외 4명|arXiv (Cornell University)|2016. 07. 26.

Generative Adversarial Networks and Image Synthesis인용 수 69

한 줄 요약

이 논문은 잠재 공간 최적화를 통해 손상된 이미지를 조건으로 삼는 딥 생성 접근법을 제안하며, 맥락과 사전 손실을 이용해 큰 부재 영역에 현실적인 내용을 추론한다. 인퍼런스 시 마스크 정보가 필요 없이도, 기존 최고 수준의 방법인 Context Encoder보다 시각적 품질과 현실성에서 뛰어나며, 특히 복잡하고 임의의 모양을 가진 구멍에 대해 유의미하게 우수하다.

ABSTRACT

Semantic image inpainting is a challenging task where large missing regions have to be filled based on the available visual data. Existing methods which extract information from only a single image generally produce unsatisfactory results due to the lack of high level context. In this paper, we propose a novel method for semantic image inpainting, which generates the missing content by conditioning on the available data. Given a trained generative model, we search for the closest encoding of the corrupted image in the latent image manifold using our context and prior losses. This encoding is then passed through the generative model to infer the missing content. In our method, inference is possible irrespective of how the missing content is structured, while the state-of-the-art learning based method requires specific information about the holes in the training phase. Experiments on three datasets show that our method successfully predicts information in large missing regions and achieves pixel-level photorealism, significantly outperforming the state-of-the-art methods.

연구 동기 및 목표

• 큰 영역이 손실된 경우, 局부 이미지 사전 정보를 초월한 고수준의 의미적 이해가 필요한 의미적 이미지 복원 문제를 해결한다.
• 단일 이미지 복원 방법의 한계를 극복한다. 이는 큰 구멍에서 맥락적이고 구조적인 정보가 부족해 실패하기 때문이다.
• 특정 구멍에 맞게 트레이닝된 데이터나 인퍼런스 시 마스크 감독 없이도 다양한 구멍 모양과 구조에 일반화할 수 있는 방법을 개발한다.
• 대부분의 구조적 정보를 잃지 않으면서 더 선명하고 현실적인 결과를 얻기 위해, adversarial 훈련과 잠재 공간 최적화를 통해 Context Encoder를 개선한다.
• 잠재 공간 내에서 이미지 맥락과 학습된 이미지 사전 정보를 조건으로 삼아, 강력하고 시각적으로 뛰어난 이미지 복원을 가능하게 한다.

제안 방법

• 자연 이미지의 기본 데이터 매니폴드를 학습하기 위해, 딥 생성 모델(특히 GAN)을 데이터셋에 대해 훈련한다.
• 손상된 이미지(부재 영역이 있는 경우)에 대해, 맥락 손실과 사전 손실의 가중 조합을 최소화하여 잠재 공간 내에서 가장 가까운 잠재 코드를 탐색한다.
• 맥락 손실은 재구성된 이미지가 입력의 알려진 부분과 일치하도록 보장하여 구조적 일관성을 유지한다.
• 사전 손실은 판별기의 실제 이미지와 생성된 이미지를 구분하는 능력을 활용하여 비현실적인 이미지 샘플을 처벌한다.
• 최적화된 잠재 코드를 사용해 훈련된 생성기로 완전한 이미지를 생성함으로써 고해상도, 사진 수준의 복원을 가능하게 한다.
• 이 방법은 완전히 엔드 투 엔드이며, 인퍼런스 시 마스크 정보가 필요 없어 임의의 구멍 모양에 적용 가능하다.

실험 결과

연구 질문

• RQ1 큰 임의의 모양을 가진 이미지 영역에서 부재한 의미적 내용을 효과적으로 추론하기 위해 딥 생성 모델을 사용할 수 있는가?
• RQ2 인퍼런스 시 명시적인 마스크 감독이 필요 없이, 손상된 입력에 기반해 이미지 생성을 어떻게 조건화할 수 있는가?
• RQ3 사전 훈련된 GAN의 잠재 코드를 맥락 손실과 사전 손실을 최적화하여 조정하면, 고정된 아키텍처로 엔드 투 엔드 훈련하는 것보다 더 현실적이고 선명한 복원 결과를 얻을 수 있는가?
• RQ4 기존의 학습 기반 방법, 예를 들어 Context Encoder에 비해 제안된 방법이 시각적 품질과 구조적 충실도 측면에서 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ5 지표가 유일하지 않은 경우, PSNR 및 SSIM 등의 정량적 지표가 의미적 복원에서 인간의 인지와 얼마나 관련이 있는가?

주요 결과

• 제안된 방법은 Context Encoder보다 시각적 품질이 뛰어나며, 특히 큰 또는 비정형의 구멍이 있는 어려운 케이스에서 더 선명한 윤곽선과 더 적은 아티팩트를 생성한다.
• CelebA, SVHN, Stanford Cars 데이터셋에서, PSNR 값이 일부 케이스에서 낮더라도, 제안된 방법은 시각적 현실성에서 최고 수준의 Context Encoder를 능가한다.
• 최대 80%의 픽셀이 손실된 랜덤 마스크에 대해서도, 제안된 방법은 Context Encoder보다 더 높은 PSNR(예: SVHN에서 33.0 dB)를 기록하여 고도로 손상된 상황에서도 더 뛰어난 재구성 충실도를 보였다.
• 정량적 비교와 오류 분석을 통해, 제안된 방법은 Context Encoder보다 더 현실적으로 보이는 결과를 생성함을 확인했으며, 일부 케이스에서 PSNR가 낮더라도 생성된 콘텐츠의 분포적 차이로 인해 더 나은 결과를 얻었다.
• 생성 모델이 맥락과 사전 제약 조건을 동시에 만족하는 유효한 잠재 코드를 매니폴드 내에서 찾을 수 없는 경우 실패 케이스가 발생하며, 특히 모델의 능력 범위를 초월한 복잡한 시나리오에서 빈도가 높다.
• PSNR 및 SSIM 등의 정량적 지표는 항상 시각적 품질을 반영하지는 않으며, Context Encoder의 높은 PSNR 값이 더 나은 시각적 결과를 의미하지는 않음을 확인했다. 이는 의미적 복원에서 전통적 지표의 한계를 드러낸다.