[논문 리뷰] Region-wise Generative Adversarial ImageInpainting for Large Missing Areas

Yuqing Ma, Xianglong Liu외 5명|arXiv (Cornell University)|2019. 09. 27.

Generative Adversarial Networks and Image Synthesis인용 수 7

한 줄 요약

이 논문은 기존 영역과 누락 영역을 별도로 처리하기 위해 생성적 적대적 네트워크(GAN) 프레임워크를 지역별로 적용하고, 비국소적인 패치 수준의 상관관계를 포착하기 위해 상관 손실(correlation loss)을 도입한 영역별로 구분된 생성적 적대적 네트워크(GAN) 프레임워크를 제안한다. 이 방법은 여러 벤치마크에서 연속적이고 비연속적인 큰 누락 영역 모두에서 최신 기술(SOTA)을 크게 능가한다.

ABSTRACT

Recently deep neutral networks have achieved promising performance for filling large missing regions in image inpainting tasks. They usually adopted the standard convolutional architecture over the corrupted image, leading to meaningless contents, such as color discrepancy, blur and artifacts. Moreover, most inpainting approaches cannot well handle the large continuous missing area cases. To address these problems, we propose a generic inpainting framework capable of handling with incomplete images on both continuous and discontinuous large missing areas, in an adversarial manner. From which, region-wise convolution is deployed in both generator and discriminator to separately handle with the different regions, namely existing regions and missing ones. Moreover, a correlation loss is introduced to capture the non-local correlations between different patches, and thus guides the generator to obtain more information during inference. With the help of our proposed framework, we can restore semantically reasonable and visually realistic images. Extensive experiments on three widely-used datasets for image inpainting tasks have been conducted, and both qualitative and quantitative experimental results demonstrate that the proposed model significantly outperforms the state-of-the-art approaches, both on the large continuous and discontinuous missing areas.

연구 동기 및 목표

• 기존의 이미지 복원 방법이 큰 연속된 누락 영역을 처리할 때 자주 발생하는 흐릿한 질감, 색상 불일치, 잡음 등의 문제를 해결하기 위해.
• 단일 아키텍처에서 연속적이고 비연속적인 큰 누락 영역을 효과적으로 복원할 수 있는 통합적이고 일반적인 프레임워크를 개발하기 위해.
• 지역별 컨볼루션을 사용해 존재하는 영역과 누락된 영역에 대해 별도의 특징 표현을 모델링하여 의미적 일致성과 시각적 현실감을 향상시키기 위해.
• 비국소적인 패치 간 상관관계를 포착하는 새로운 상관 손실을 통해 장거리 맥락 이해 능력을 향상시키기 위해.
• 특히 도전적인 연속된 구멍 상황에서, 누락 영역 크기가 증가함에 따라 안정적이고 강건한 성능을 유지를 하기 위해.

제안 방법

• 생성자는 두 개의 연속된 인코더-디코더 네트워크를 사용하여, 존재하는 영역과 누락된 영역을 별도로 처리하기 위해 지역별 컨볼루션을 활용하면서도, 동시에 누락된 내용을 함께 추론한다.
• 패치 간 비국소적 상관관계를 모델링하기 위해 상관 손실(correlation loss)을 도입하여, 생성자가 더 정확한 재구성에 필요한 전역 맥락을 접근할 수 있도록 한다.
• 판별자는 지역별 컨볼루션을 사용하여 실재 이미지와 생성된 이미지를 영역 수준에서 구분함으로써, 적대적 훈련의 안정성과 현실감을 향상시킨다.
• 생성적 적대적 훈련과 인지적 손실, 상관 손실을 통합하여 국소적 세부 사항과 전반적인 의미적 일관성을 모두 향상시킨다.
• 생성자와 판별자 양쪽에 지역별 컨볼루션을 적용하여 존재하는 영역과 누락된 영역에 대해 특화된 처리를 가능하게 하여 공유 필터의 성능 저하를 방지한다.
• 시각적 현실감과 구조적 정확성을 최적화하기 위해, 생성적 적대적 손실, 인지적 손실, 상관 손실의 조합을 사용해 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 통합된 GAN 프레임워크는 이미지 복원에서 연속적이고 비연속적인 큰 누락 영역을 효과적으로 처리할 수 있는가?
• RQ2 생성자와 판별자에 지역별 컨볼루션을 적용하면 표준 컨볼루션 대비 큰 누락 영역에서 성능 향상이 이루어지는가?
• RQ3 비국소적인 패치 간 상관관계를 모델링함으로써 상관 손실이 재구성 품질을 어느 정도 향상시키는가?
• RQ4 누락 영역 크기가 증가함에 따라 제안된 방법은 최신 기술(SOTA) 대비 얼마나 뛰어난 강건성을 보이는가?
• RQ5 복잡한 형태의 객체나 워터마크 제거 등 실용적인 응용 분야에서 의미적으로 타당하고 시각적으로 현실적인 결과를 생성할 수 있는가?

주요 결과

• 제안된 방법은 CelebA-HQ, Paris Street View, Places2 데이터셋에서 연속적이고 비연속적인 누락 영역 모두에서 FID, PSNR, L1/L2 지표에서 가장 뛰어난 종합 성능을 기록하며 일관된 우수성을 보였다.
• 연속된 누락 영역에서, EC, PConv, PIC와 비교해 상당히 뛰어난 성능을 보였으며, 최신 기술(SOTA) 방법보다 FID 점수가 상당히 낮게 나타났다.
• 마스크 크기가 증가함에 따라 안정적인 성능을 유지하며, 다른 방법들보다 둔화 속도가 느려, 더 큰 구멍에 대한 강건성을 보였다.
• 픽셀 수준의 재구성에서, 비연속 마스크에서 최고의 L2 점수를 기록하여, 상관 손실 덕분에 더 뛰어난 세부 사항 복원 능력을 입증했다.
• 상관 손실 덕분에 장거리 상관관계를 더 잘 포착하여, 생성된 영역에서 더 일관되고 현실적인 질감과 구조를 만들어냈다.
• 복잡한 형태의 객체와 워터마크를 자연스럽게 제거하는 데 성공하여, 이미지 편집 작업에서의 실용적 유용성을 확인했다.