[논문 리뷰] Light-weight pixel context encoders for image inpainting

Nanne van Noord, Eric Postma|arXiv (Cornell University)|2018. 01. 17.

Generative Adversarial Networks and Image Synthesis참고 문헌 17인용 수 5

한 줄 요약

이 논문은 패딩 없이 공간 해상도와 맥락을 유지하면서도 다운샘플링 없이 확장된 컨volution을 사용하는 경량 이미지 복원 모델인 픽셀 컨텐츠 인코더(Pixel Content Encoders, PCE)를 소개한다. 이는 기존 모델 대비 10배 적은 파라미터로 자연 이미지와 회화에서 최신 기술 수준(SOTA)의 성능을 달성한다. 아키텍처는 큰 결손 영역의 고해상도 생성을 가능하게 하며, 아키텍처 변경 없이 이미지 외삽 작업으로도 일반화된다.

ABSTRACT

In this work we propose Pixel Content Encoders (PCE), a light-weight image inpainting model, capable of generating novel con-tent for large missing regions in images. Unlike previously presented convolutional neural network based models, our PCE model has an order of magnitude fewer trainable parameters. Moreover, by incorporating dilated convolutions we are able to preserve fine grained spatial information, achieving state-of-the-art performance on benchmark datasets of natural images and paintings. Besides image inpainting, we show that without changing the architecture, PCE can be used for image extrapolation, generating novel content beyond existing image boundaries.

연구 동기 및 목표

• 고해상도 공간 해상도와 맥락 인식 능력을 유지하는 경량 이미지 복원 모델을 개발한다.
• 모델 복잡도와 파라미터 수를 줄이되, 큰 결손 영역에서의 성능을 유지한다.
• 단일 유연한 아키텍처를 사용해 결손 영역이나 확장된 영역에서 새로운 콘텐츠를 고품질로 생성할 수 있도록 한다.
• 동일한 모델이 복원과 이미지 외삽 모두에 사용 가능한지의 가능성을 탐색한다.
• ImageNet과 PaintersN과 같은 다양한 데이터셋 간에 데이터에 종속되지 않는 일반화 능력을 입증한다.

제안 방법

• 모델은 다운샘플링 없이 수신장(field of view)을 확장하기 위해 확장된 컨볼루션을 사용하여 인코더 전반에 걸쳐 전체 공간 해상도를 유지한다.
• 생성된 영역의 국소적 및 전역적 지각 일관성을 강제하기 위해 PatchGAN 판별기를 사용한다.
• 인코더는 증가하는 확장률을 가진 스택된 확장 컨volution 레이어를 통해 다중 척도 맥락을 캡처한다.
• 버티컬 압축을 피함으로써 세밀한 공간적 세부 정보를 유지하여 복원 시 국소 일관성에 중요하다.
• 모델은 적대적 손실과 L1 재구성 손실을 사용해 엔드 투 엔드로 훈련되며, 지각 품질과 픽셀 수준 정확도 사이의 균형을 이룬다.
• 이미지 외삽은 중심 영역을 마스킹하고 주변 밴드를 재구성하도록 훈련하여 복원 작업을 뒤집는 방식으로 달성된다.

실험 결과

연구 질문

• RQ1 기존 모델 대비 훨씬 적은 파라미터로도 경량 CNN 기반 복원 모델이 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 확장된 컨볼루션의 사용이 큰 결손 영역에서 공간적 세부 정보와 국소 일관성의 보존에 더 효과적인가?
• RQ3 동일한 아키텍처가 자연 이미지와 회화와 같은 다양한 이미지 도메인 간에 재학습 없이 일반화 가능한가?
• RQ4 표준 복원 외에 이미지 외삽 작업으로 모델을 얼마나 잘 적응시킬 수 있는가?
• RQ5 한 도메인에서 훈련된 모델이 다른 도메인에서 평가되었을 때 성능이 얼마나 견고한가?

주요 결과

• PCE는 ImageNet과 PaintersN 벤치마크 데이터셋 모두에서 최신 기술 수준의 성능을 달성했으며, RMSE 및 PSNR 지표에서 기존 모델을 능가한다.
• ImageNet 데이터셋에서 PCE는 이미지 외삽 작업에서 PSNR 18.08, RMSE 31.81을 기록하여 강력한 일반화 능력을 보였다.
• PaintersN 데이터셋에서 PCE는 PSNR 17.92, RMSE 32.39를 기록하여 예술 스타일 간 일관된 성능을 보였다.
• 이전 모델 대비 10배 정도 적은 파라미터를 가짐에도 불구하고, PCE는 모든 평가 벤치마크에서 성능을 유지하거나 초월했다.
• 이미지 외삽 작업에서 PCE는 이미지 경계를 초월해 타당하고 맥락적으로 일관된 콘텐츠를 성공적으로 생성했다.
• 다양한 데이터셋 간 평가 결과, 한 도메인(예: ImageNet)에서 훈련된 모델이 다른 도메인(예: PaintersN)으로도 잘 일반화됨을 보여주어 데이터에 종속되지 않는 맥락 학습이 가능하다는 것을 시사한다.