[논문 리뷰] Semi-parametric Image Inpainting

Karim Iskakov|arXiv (Cornell University)|2018. 07. 08.

Generative Adversarial Networks and Image Synthesis참고 문헌 26인용 수 12

한 줄 요약

이 논문은 추론 중에 외부 데이터베이스에서 유사한 이미지를 보조 입력으로 활용하여 딥 네트워크 성능을 향상시키는 준모수적 이미지 복원 방법을 제안한다. 콘텐츠 기반 이미지 검색과 UNet 유사 아키텍처를 활용함으로써, 이전 방법들에 비해 더 현실적인 결과를 도출하며, 특히 비정규적인 구멍에 대해 뛰어난 성능을 보인다. 이는 사용자 연구와 CelebA-HQ 데이터셋에 대한 사용자 손으로 그린 마스크 데이터셋을 활용한 정량적 평가를 통해 검증되었다.

ABSTRACT

This paper introduces a semi-parametric approach to image inpainting for irregular holes. The nonparametric part consists of an external image database. During test time database is used to retrieve a supplementary image, similar to the input masked picture, and utilize it as auxiliary information for the deep neural network. Further, we propose a novel method of generating masks with irregular holes and present public dataset with such masks. Experiments on CelebA-HQ dataset show that our semi-parametric method yields more realistic results than previous approaches, which is confirmed by the user study.

연구 동기 및 목표

• 추론 중에 유사한 이미지에서 유도된 보조 정보를 통합하여 딥 러닝 기반 이미지 복원의 현실감을 향상시키는 것.
• 기존 방법들이 마스크된 입력에만 의존하고 외부 맥락을 갖지 못하는 한계를 해결하는 것.
• 더 현실적인 평가를 위해 인간이 그린 스토크로 생성된 비정규 마스크를 포함한 공개 가능한 데이터셋을 개발하는 것.
• 외부 이미지 검색이 딥 러닝 기반 복원에서 시각적 품질을 크게 향상시킬 수 있음을 보여주는 것.

제안 방법

• 이 방법은 마스크된 이미지와 외부 데이터베이스에서 확보한 유사 이미지를 입력으로 사용하는 UNet 유사 컨볼루션 신경망을 사용한다.
• 유사한 이미지는 콘텐츠 기반 이미지 검색을 통해 VGG-16 특징을 활용하여 확보되며, 이는 의미적이고 구조적인 안내를 제공한다.
• 네트워크는 L1, 퍼셉추얼, 그리고 적대적 손실을 병합한 다중 척도 손실을 사용하여 현실감과 세부 사항의 정확성을 향상시킨다.
• 벡터 도면을 사용하여 Quick, Draw! 데이터셋에서 유래한 인간의 스토리지 스타일을 반영한 다양한 비정규 마스크 생성 파이프라인을 신규로 개발하였다.
• 모델은 하나의 보조 이미지(Sim-1)와 보조 이미지 없음(Sim-0)을 사용하여 Telea 및 PConv 기준선과 비교 평가하였다.
• 외부 데이터베이스는 비모수적 메모리 백업 역할을 하며, 이는 모델이 유사한 이미지에서 특징를 복사하고 적응시킬 수 있도록 한다.

실험 결과

연구 질문

• RQ1 유사한 외부 이미지를 통합함으로써 딥 러닝 기반 이미지 복원의 현실감을 크게 향상시킬 수 있는가?
• RQ2 인간이 생성한 비정규 마스크를 사용할 경우, 정규 또는 합성 마스크와 비교해 모델 성능에 어떤 영향을 미치는가?
• RQ3 보조 이미지 검색이 복원 영역의 세부 사항 일致성과 구조적 일관성에 얼마나 기여하는가?
• RQ4 준모수적 복원의 실패 유형은 무엇이며, 이는 훈련 데이터 다양성과 손실 설계와 어떤 관련이 있는가?

주요 결과

• 제안된 방법인 Sim-1은 사용자 연구에서 51%의 승리 비율을 기록하여 PConv(31%) 및 기타 기준선들을 뛰어넘었다.
• Sim-1은 L1 및 FID 지표에서 모든 기준선을 초월했으며, 특히 화면 면적 대비 구멍 비율이 높을수록 두드러진 성능 향상을 보였다.
• 보조 입력으로 무작위 또는 노이즈 이미지를 제공했을 경우 모델의 출력이 변화함을 확인하여, 보조 이미지가 생성 과정에 실제로 영향을 미친다는 것을 입증했다.
• 실패 사례로는 뿌연 결과, 비현실적인 세부 사항(예: 자연스럽지 않은 눈), 일관되지 않은 메이크업 스타일 등이 관찰되어 일반화 능력과 훈련 데이터 다양성의 한계를 드러냈다.
• 모델은 다양한 마스크 형태에 대해 강건성을 보였으며, 더 큰 구멍에서 성능 향상이 있었음을 확인하여 비정규 구조에 대한 강력한 일반화 능력을 입증했다.