[논문 리뷰] Foreground-aware Image Inpainting

Wei Xiong, Jiahui Yu외 5명|arXiv (Cornell University)|2019. 01. 17.

Generative Adversarial Networks and Image Synthesis참고 문헌 22인용 수 23

한 줄 요약

이 논문은 복잡한 시나리오에서 구멍이 배경 객체와 겹치거나 접촉하는 경우에도 품질을 크게 향상시키기 위해 윤곽 예측을 이미지 복원에서 분리하는 전경 인식 이미지 복원 방법을 제안한다. 학습된 전경 윤곽을 지침으로 사용함으로써, 객체 경계를 명시적으로 모델링함으로써 콘텐츠 생성 이전에 전경 객체 경계를 처리함으로써, 도전적인 실세계 사례에서 최신 기술 수준(SOTA)의 성능을 달성한다. 이는 정량적 지표와 사용자 선호도 연구 모두에서 이전의 학습 기반 방법을 능가한다.

ABSTRACT

Existing image inpainting methods typically fill holes by borrowing information from surrounding pixels. They often produce unsatisfactory results when the holes overlap with or touch foreground objects due to lack of information about the actual extent of foreground and background regions within the holes. These scenarios, however, are very important in practice, especially for applications such as the removal of distracting objects. To address the problem, we propose a foreground-aware image inpainting system that explicitly disentangles structure inference and content completion. Specifically, our model learns to predict the foreground contour first, and then inpaints the missing region using the predicted contour as guidance. We show that by such disentanglement, the contour completion model predicts reasonable contours of objects, and further substantially improves the performance of image inpainting. Experiments show that our method significantly outperforms existing methods and achieves superior inpainting results on challenging cases with complex compositions.

연구 동기 및 목표

• 구멍이 전경 객체와 겹치거나 접촉하는 경우 기존 딥러닝 기반 복원 방법의 실패를 해결하기 위해.
• 암묵적 학습에 의존하는 대신 전경 구조를 명시적으로 모델링하여 복잡한 구성에서 이미지 복원 품질을 향상시키기 위해.
• 먼저 객체 윤곽을 예측하고 완성한 후에 콘텐츠 생성을 수행하는 분리된 프레임워크를 개발하기 위해.
• 윤곽 지도가 더 현실적이고 아티팩트가 없는 복원 결과를 만들어내며, 특히 객체 경계 근처에서 유의미한 성능 향상을 이끌어내는지 확인하기 위해.
• 과정 학습(curriculum training)이 윤곽 복원 및 이미지 복원 모듈을 공동 최적화하는 데 효과적인지 검증하기 위해.

제안 방법

• 먼저, 구멍이 있는 입력 이미지에서 윤곽 검출 모듈을 사용해 전경 윤곽을 탐지한다.
• 윤곽 복원 모듈은 구멍이 객체 가장자리를 가리키더라도, 부족한 부분의 전경 객체 경계를 예측한다.
• 완성된 윤곽은 이미지 복원 네트워크를 조건화하기 위한 공간적 지도로 사용되며, 이에 따라 구멍 내에 현실적인 콘텐츠가 생성된다.
• 더 나은 일반화를 위해, 윤곽 복원 및 이미지 복원 모듈을 공동 최적화하기 위한 과정 학습을 적용한다.
• 모델은 전경 객체에 상대적으로 다양한 구멍 모양과 위치를 포함하도록 특별히 설계된 커스텀 샬리언시 이미지 데이터셋에서 훈련된다.
• 프레임워크는 구조 추론(윤곽 예측)과 콘텐츠 생성을 분리함으로써, 더 정확하고 의미적으로 인지된 복원을 가능하게 한다.

실험 결과

연구 질문

• RQ1 구멍이 전경 객체와 겹치거나 접촉하는 경우, 전경 객체 윤곽을 명시적으로 모델링하면 이미지 복원 성능이 향상되는가?
• RQ2 예측된 윤곽을 공간적 지도로 사용할 경우, 이러한 지도 없이 종단 간(end-to-end) 학습하는 것보다 더 현실적이고 아티팩트가 없는 이미지 복원 결과를 얻을 수 있는가?
• RQ3 윤곽 예측과 이미지 복원의 분리가 복잡한 구성에서 생성된 이미지의 품질에 어떤 영향을 미치는가?
• RQ4 기존 GAN 기반 복원 모델에 비해 윤곽 지도가 객체 경계 근처의 시각적 아티팩트를 얼마나 줄이는가?
• RQ5 과정 학습은 윤곽 복원 및 이미지 복원 모듈의 공동 학습을 효과적으로 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 샬리언시 데이터셋에서 PSNR 29.86과 SSIM 0.9383을 기록하여, PartialConv 및 GatedConv를 포함한 모든 베이스라인을 능가한다.
• 사용자 선호도 연구에서 전체 모델은 1,099표 중 731표를 확보하여, PartialConv(100표) 및 GatedConv(100표)를 크게 앞서며 최고의 결과로 선정되었다.
• 제거 실험(ablation study) 결과, 윤곽 지도를 제거하면 객체 경계 근처에 명백한 아티팩트가 발생함을 확인하여, 윤곽 지도가 고성능 결과에 필수적임을 입증한다.
• 큰 또는 비정형 구멍에서도 윤곽 복원 모듈은 타당한 객체 경계를 성공적으로 예측하여 더 정확한 이미지 복원을 가능하게 한다.
• 윤곽 지도가 없는 모델도 양호한 성능(PSNR 29.35)을 보이지만, 윤곽 지도 추가로 PSNR는 0.51 향상되고 SSIM은 0.0027 향상되어 일관된 성능 향상을 입증한다.
• 시각적 비교 결과, 제안된 방법은 기존 방법에 비해 더 자연스러운 객체 형태와 더 적은 아티팩트를 생성하며, 특히 객체 가장자리 근처에서 뚜렷한 우수성을 보였다.