[논문 리뷰] Contextual-based Image Inpainting: Infer, Match, and Translate

Yuhang Song, Chao Yang외 5명|arXiv (Cornell University)|2017. 11. 23.

Generative Adversarial Networks and Image Synthesis참고 문헌 13인용 수 9

한 줄 요약

이 논문은 고해상도 이미지 복원을 위한 이단계 딥러닝 프레임워크를 제안하며, 작업을 거친 이미지 추론과 세밀한 무늬 변환으로 분리한다. 이미지 경계에서 고주파 수치를 구멍 영역으로 이동시키기 위해 패치스왑 레이어를 사용함으로써, 이전 최고 수준의 방법들보다 더 선명하고 현실적인 결과를 얻을 수 있으며, 특히 512×512 해상도에서 한 번의 순방향 전파로 추론가능하다.

ABSTRACT

We study the task of image inpainting, which is to fill in the missing region of an incomplete image with plausible contents. To this end, we propose a learning-based approach to generate visually coherent completion given a high-resolution image with missing components. In order to overcome the difficulty to directly learn the distribution of high-dimensional image data, we divide the task into inference and translation as two separate steps and model each step with a deep neural network. We also use simple heuristics to guide the propagation of local textures from the boundary to the hole. We show that, by using such techniques, inpainting reduces to the problem of learning two image-feature translation functions in much smaller space and hence easier to train. We evaluate our method on several public datasets and show that we generate results of better visual quality than previous state-of-the-art methods.

연구 동기 및 목표

• 복잡한 누락 영역을 가진 고해상도 이미지(예: 512×512)에 대해 고품질의 현실적인 이미지 복원 결과를 생성하는 데 도전한다.
• 고차원 픽셀 분포를 직접 학습하는 데 어려움을 극복하기 위해 작업을 두 개의 관리 가능한 단계로 분해한다: 이미지 → 특징 추론 및 특징 → 이미지 변환.
• 흐림, 잡음, 높은 계산 비용 등의 문제를 겪는 기존 방법들을 개선하기 위해 효율적인 추론을 가능하게 하는 학습 가능한 엔드 투 엔드 트레이너블 프레임워크를 도입한다.
• 큰 누락 영역 포함하여 임의의 구멍 형태와 크기로 일반화할 수 있도록 하되, 시각적 일관성과 무늬의 현실감을 유지한다.

제안 방법

• 이미지 복원을 두 단계로 분해한다: (1) Image2Feature 네트워크는 불완전한 이미지로부터 거친, 구조적으로 타당한 완성도를 생성한다.
• 거친 특징 맵을 고해상도의 사진처럼 현실적인 이미지로 개선하기 위해 Feature2Image 네트워크를 훈련시킨다.
• 구멍 내부의 각 특징 패치를 이미지 경계에서 가장 유사한 패치로 교체하는 새로운 '패치스왑' 레이어를 도입하여 고주파 무늬 세부 정보를 주입한다.
• 최종 출력의 시각적 품질과 현실감을 향상시키기 위해 지각적 손실과 적대적 훈련을 사용한다.
• 이미지 복원 네트워크의 오차 전파를 방지하고 안정성을 향상시키기 위해 Ground Truth 이미지를 사용하여 Feature2Image 네트워크를 훈련시킨다.
• 고차원 이미지-이미지 매핑 학습의 복잡성을 줄이기 위해 다단계, 자기지도 학습 기반의 엔드 투 엔드 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 접근 방식에 비해 이단계 딥러닝 프레임워크가 고해상도 이미지 복원의 품질과 현실감을 향상시키는 데 효과적인가?
• RQ2 반복 최적화가 필요 없이 패치스왑 레이어가 이미지 경계에서 고주파 무늬 세부 정보를 구멍 영역으로 효과적으로 전달할 수 있는가?
• RQ3 Image2Feature 네트워크의 예측이 아닌 실제 이미지(Ground Truth)를 사용하여 Feature2Image 네트워크를 훈련시키는 것이 더 안정적이고 정확한 결과를 낳는가?
• RQ4 제안된 방법이 큰 누락 영역 포함하여 임의의 구멍 형태와 크기로 일반화되면서도 시각적 일관성을 유지할 수 있는가?
• RQ5 GL Inpainting 및 Neural Inpainting과 같은 기존 최고 수준의 방법들에 비해 이 방법이 시각적 품질과 추론 속도 측면에서 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• 제안된 방법은 512×512 이미지에서 GL Inpainting [1]보다 더 선명하고 시각적으로 일관성 있는 복원 결과를 생성하며, 후자는 이를 효과적으로 처리하지 못한다.
• 패치스왑 레이어는 무늬 세부 정보 전달을 크게 향상시켜 Feature2Image 네트워크가 반복 최적화 없이도 현실적인 무늬를 생성할 수 있도록 한다.
• Image2Feature 네트워크의 예측이 아닌 실제 이미지를 사용하여 Feature2Image 네트워크를 훈련시키는 것이, 노이즈가 많고 불안정한 출력을 낳는 예측 기반 훈련보다 훨씬 더 나은 결과를 낳는다.
• 최종 모델은 COCO 및 ImageNet 데이터셋에서 최고 수준의 시각적 품질을 달성하며, 주변 영역와 자연스럽게 융합되는 결과를 제공한다.
• 추론이 빠르고 효율적이며, 단 한 번의 순방향 전파로 이루어져 객체 제거 및 사진 복원과 같은 실생활 응용에 적합하다.
• 훈련된 Feature2Image 네트워크는 복원 외에도 일반화 능력이 뛰어나 콘텐츠 이미지와 스타일 이미지에서 실시간으로 임의의 스타일 전이를 가능하게 하여 강력한 모델 이식성(transferability)을 입증한다.