[논문 리뷰] Image Inpainting via Generative Multi-column Convolutional Neural Networks

Yi Wang, Xin Tao외 3명|arXiv (Cornell University)|2018. 10. 20.

Generative Adversarial Networks and Image Synthesis참고 문헌 25인용 수 87

한 줄 요약

본 논문은 다중 평행 가지를 가진 Generative Multi-column Convolutional Neural Network(GMCNN)를 활용해 포스트처리 없이도 합리적 전역 구조와 로컬 텍스처를 합성하도록 이미지 인페인팅을 수행하고, ID-MRF 정규화 및 신뢰도 기반 재구성 손실을 통해 글로벌 및 로컬 특성을 모두 포착한다.

ABSTRACT

In this paper, we propose a generative multi-column network for image inpainting. This network synthesizes different image components in a parallel manner within one stage. To better characterize global structures, we design a confidence-driven reconstruction loss while an implicit diversified MRF regularization is adopted to enhance local details. The multi-column network combined with the reconstruction and MRF loss propagates local and global information derived from context to the target inpainting regions. Extensive experiments on challenging street view, face, natural objects and scenes manifest that our method produces visual compelling results even without previously common post-processing.

연구 동기 및 목표

• 글로벌 구조와 로컬 텍스처를 모두 포착하여 인페인팅 품질을 향상시키려는 motivation.
• 전체 해상도 입력에서 다양한 구성 요소를 추출하는 다중 분기 제너레이터 제안.
• 학습 중에 다양한 텍스처를 촉진하고 제약하기 위한 ID-MRF 정규화 도입.
• 공간적으로 적응적인 제약을 강제하는 신뢰도 기반 재구성 손실 설계.
• 포스트처리 없이 거리 장면, 얼굴, 자연 이미지에서 최첨단 결과를 시연.

제안 방법

• 전체 해상도 입력에서 작동하는 세 개의 평행 인코더–디코더 가지를 사용하는 Generative Multi-column CNN 활용.
• 가지의 출력을 연결하고 공유 디코더를 통해 인페인된 이미지를 생성.
• 훈련 중에 다양한 텍스처를 촉진하고 현실적인 텍스처를 장려하기 위해 VGG 특징 계층에서 계산된 ID-MRF 정규화 도입.
• 손실의 누적된 가중치를Missing 영역의 거리와 경계 근접성에 따라 조절하는 신뢰도 기반 재구성 손실 채택.
• 훈련 중 Wasserstein GAN with gradient penalty를 통한 전역 및 지역 판별자를 활용한 적대적 손실 도입.

실험 결과

연구 질문

• RQ1 다중 병렬 인코더가 서로 다른 수용 영역으로 글로벌 구조와 로컬 텍스처의 인페인팅을 어떻게 개선할 수 있는가?
• RQ2 훈련 중 암묵적이고 다양화된 MRF 정규화가 포스트프로세싱 MRF 단계보다 더 현실적인 텍스처를 만들어낼 수 있는가?
• RQ3 공간적으로 변동하는 재구성 손실이 다양한 마스크와 장면에서 경계 일관성 및 텍스처 품질을 향상시키는가?
• RQ4 ID-MRF, 신뢰도 기반 손실, 적대적 학습의 결합이 정량적 및 지각적 인페인팅 품질에 어떤 영향을 미치는가?

주요 결과

• 다양한 수용 영역을 가진 GMCNN이 단일 가지 및 거친-세분화 아키텍처보다 시각적 충실도에서 우수하다.
• ID-MRF 정규화는 텍스처 세부 및 텍스처 다양성에서 효과를 보이며 비대칭 처리 없이도 향상된다.
• 신뢰도 기반 재구성 손실은 공간적으로 할인된 대안보다 경계 처리 및 점진적 학습 초점을 더 잘 제공한다.
• 다양한 데이터셋에서 PSNR 및 SSIM의 정량적 결과가 경쟁력을 보이며, 사용자 연구에서 GMCNN 출력이 베이스라인보다 선호된다.
• 시각적 결과는 거리 장면, 얼굴, 자연 물체에서 포스트처리 없이도 강한 성능을 보인다.