[논문 리뷰] Deep Generative Model for Image Inpainting with Local Binary Pattern Learning and Spatial Attention

Haiwei Wu, Jiantao Zhou외 1명|arXiv (Cornell University)|2020. 09. 02.

Generative Adversarial Networks and Image Synthesis참고 문헌 56인용 수 7

한 줄 요약

이 논문은 두 단계의 딥 생성 모델을 제안하여 이미지 복원을 수행한다. 첫 번째 단계에서는 U-Net 기반의 LBP 학습 네트워크를 사용해 손실된 영역의 국소 이진 패턴(LBP) 특징을 예측하고, 두 번째 단계에서는 이러한 특징을 바탕으로 공간적 주의 메커니즘을 통한 이미지 복원 네트워크를 가동한다. 제안된 공간적 주의 메커니즘은 알려진 영역과 생성된 영역 간의 종속성 뿐 아니라 생성된 영역 내부의 종속성까지 모델링하여 아티팩트를 크게 감소시키고 구조적 일관성을 향상시킨다. 이는 CelebA-HQ, Places, Paris StreetView 데이터셋에서 최신 기법들을 능가하는 성능을 보였다.

ABSTRACT

Deep learning (DL) has demonstrated its powerful capabilities in the field of image inpainting. The DL-based image inpainting approaches can produce visually plausible results, but often generate various unpleasant artifacts, especially in the boundary and highly textured regions. To tackle this challenge, in this work, we propose a new end-to-end, two-stage (coarse-to-fine) generative model through combining a local binary pattern (LBP) learning network with an actual inpainting network. Specifically, the first LBP learning network using U-Net architecture is designed to accurately predict the structural information of the missing region, which subsequently guides the second image inpainting network for better filling the missing pixels. Furthermore, an improved spatial attention mechanism is integrated in the image inpainting network, by considering the consistency not only between the known region with the generated one, but also within the generated region itself. Extensive experiments on public datasets including CelebA-HQ, Places and Paris StreetView demonstrate that our model generates better inpainting results than the state-of-the-art competing algorithms, both quantitatively and qualitatively. The source code and trained models will be made available at https://github.com/HighwayWu/ImageInpainting.

연구 동기 및 목표

• 딥 러닝 기반 이미지 복원에서 지속적인 문제로 남아 있는 아티팩트와 구조적 일관성 문제, 특히 무늬와 경계 영역에서의 문제를 해결하기 위해.
• LBP 특징에서 유도한 구조적 사전 지식을 활용하여 복원된 영역의 전반적이고 국소적인 일관성을 향상시키기 위해.
• 제안된 새로운 공간적 주의 메커니즘을 통해 생성된 영역 내부의 종속성을 모델링하여 특징 표현을 향상시키기 위해.
• 다중 수준의 손실 함수를 여러 네트워크 레이어에 걸쳐 적용하여 학습 안정성과 특징 정확도를 향상시키기 위해.
• 공개 벤치마크에서 정량적·정성적 평가 모두에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 두 단계의 프레임워크를 사용한다: 첫 번째로, 알려진 컨텍스트를 기반으로 U-Net 기반의 LBP 학습 네트워크가 손실된 영역의 LBP 특징 맵을 예측한다.
• 예측된 LBP 특징은 이후 이미지 복원 네트워크의 구조적 사전 지식으로 사용되어 의미적으로 타당하고 구조적으로 일관된 콘텐츠를 생성하도록 유도한다.
• 복원 네트워크에 새로운 공간적 주의 메커니즘이 통합되어, 알려진 영역 대비 생성된 영역 간의 종속성과 생성된 영역 내부의 종속성을 모두 모델링하여 일관성을 향상시킨다.
• 주의 메커니즘은 32×32 특징 해상도에서 T=2개의 패치를 토큰당 사용하여 효율성과 성능 사이의 균형을 확보한다.
• 다중 수준의 손실 함수를 인코더-디코더 레이어 전반에 걸쳐 적용하여 특징 정확도를 최적화하고 학습 안정성을 향상시킨다.
• 위 요소들과 함께 생성적 적대적 네트워크(GANs)를 공동으로 학습시켜 현실감과 인지적 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 LBP 특징는 아티팩트 감소에 효과적인 파rameter-free 구조적 사전 지식로 작용할 수 있는가?
• RQ2 기존 주의 메커니즘과 비교해 생성된 영역 내부의 종속성을 모델링함으로써 구조적 일관성이 향상되는가?
• RQ3 제안된 두 단계의 굵기에서 세밀한 프레임워크는 종단 간 GAN 기반 방법과 시각적 품질과 정량적 지표에서 어떻게 비교되는가?
• RQ4 다중 수준의 손실 함수는 특징 재구성과 최종 복원 성능 향상에 어느 정도 기여하는가?
• RQ5 제안된 모델은 얼굴, 자연 풍경, 거리 풍경 등 다양한 이미지 도메인에 대해 일반화 가능한가?

주요 결과

• 중앙 마스크를 사용한 Places 데이터셋에서, 다중 수준 손실이 없는 기준 모델 대비 약 0.11 dB의 PSNR 향상을 달성했다.
• Places 데이터셋에서 다중 수준 손실을 사용할 경우 PSNR는 24.31, SSIM은 0.845를 기록했으며, 이는 손실가 없는 버전(PSNR: 24.20, SSIM: 0.844)을 능가하는 성능이다.
• CelebA-HQ, Places, Paris StreetView에서의 정성적 결과는 최신 기법 대비 경계 아티팩트 감소와 더불어 무늬 일관성 향상을 보였다.
• 제거 실험을 통해 제안된 공간적 주의 메커니즘이 내부 종속성을 모델링함으로써 국소 일관성 향상과 환각 현상 감소에 기여함을 확인했다.
• LBP를 구조적 사전 지식으로 통합함으로써 특히 얼굴과 무늬가 복잡한 영역에서 더 정확한 구조 재구성 가능성이 높아졌다.
• 모델은 얼굴 이미지, 자연 풍경, 도시 거리 풍경 등 다양한 데이터셋에 대해 강력한 일반화 능력을 보이며, 시각적으로 타당하고 의미적으로 일관된 결과를 도출했다.