[논문 리뷰] Learning Pyramid-Context Encoder Network for High-Quality Image Inpainting

Yanhong Zeng, Fu Jianlong외 2명|arXiv (Cornell University)|2019. 04. 16.

Generative Adversarial Networks and Image Synthesis인용 수 7

한 줄 요약

이 논문은 교차 레이어 어텐션 전달과 피라미드 채우기 기법을 결합하여 의미적 일관성과 시각적 현실감을 향상시키는 새로운 U-Net 기반 아키텍처인 PEN-Net을 제안한다. 깊이 있는 레이어에서 浅층 레이어로 어텐션 가이드드 특징을 점진적으로 전달하고, 적대적 훈련과 함께 다중 척도 감독을 사용함으로써 PEN-Net은 여러 벤치마크에서 최신 기술 수준의 성능을 달성하여 정량적 지표와 사용자 연구 모두에서 이전 방법들을 능가한다.

ABSTRACT

High-quality image inpainting requires filling missing regions in a damaged image with plausible content. Existing works either fill the regions by copying image patches or generating semantically-coherent patches from region context, while neglect the fact that both visual and semantic plausibility are highly-demanded. In this paper, we propose a Pyramid-context ENcoder Network (PEN-Net) for image inpainting by deep generative models. The PEN-Net is built upon a U-Net structure, which can restore an image by encoding contextual semantics from full resolution input, and decoding the learned semantic features back into images. Specifically, we propose a pyramid-context encoder, which progressively learns region affinity by attention from a high-level semantic feature map and transfers the learned attention to the previous low-level feature map. As the missing content can be filled by attention transfer from deep to shallow in a pyramid fashion, both visual and semantic coherence for image inpainting can be ensured. We further propose a multi-scale decoder with deeply-supervised pyramid losses and an adversarial loss. Such a design not only results in fast convergence in training, but more realistic results in testing. Extensive experiments on various datasets show the superior performance of the proposed network

연구 동기 및 목표

• 시각적으로 현실적이면서도 의미적으로 일관된 고품질 이미지 인painting 결과를 생성하는 데 도전하는 것.
• 기존 방법들이 패치 복사(의미 정보 부족) 또는 압축된 특징에서 생성(세부 정보 손실)하는 데서 비롯하는 한계를 극복하는 것.
• 계층적이고 어텐션 가이드드 특징 전달을 통해 특징 인코딩 및 디코딩을 향상시켜 U-Net 기반 인painting을 개선하는 것.
• 피라미드 채우기 메커니즘을 사용해 다중 척도에서 누락 영역을 채워 세부 사양 복구를 보장하는 것.
• 깊이 감독 다중 척도 손실과 적대적 훈련을 통해 더 빠른 수렴과 더 현실적인 결과를 달성하는 것.

제안 방법

• 모델은 U-Net 백본을 사용하여 저수준 픽셀에서 고수준 의미론까지의 이미지 컨텍스트를 인코딩하고, 다시 특징을 디코딩하여 완전한 이미지로 복원한다.
• 피라미드-컨텍스트 인코더는 고수준 특징에서 영역 유사도를 학습하고, 가중 복사 방식을 통해 관련 특징을 낮은 수준의 특징 맵으로 전달하는 어텐션 전달 네트워크(ATN)를 활용한다.
• ATN은 깊이 있는 의미 특징이 얕은 해상도 레이어의 특징 재구성에 가이드 역할을 하는 교차 레이어 어テン션 전달을 가능하게 한다.
• 다중 척도 디코더는 스킵 커넥션과 잠재 코드로부터 특징를 처리하고, 다중 척도에서 피라미드 L1 손실을 사용하여 예측을 점진적으로 개선한다.
• 적대적 훈련을 통해 생성된 이미지의 현실감을 향상시키기 위해 판별자(Discriminator)를 적용한다.
• 깊이 감독 다중 척도 피라미드 L1 손실과 적대적 손실의 조합을 사용하여 최적화함으로써 더 빠른 수렴과 더 나은 일반화 성능을 확보한다.

실험 결과

연구 질문

• RQ1 고수준 의미 정보를 활용해 저수준 세부 사양 복구를 위한 특징 재구성에서 교차 레이어 어텐션 전달이 향상되는가?
• RQ2 깊이에서 얕은 레이어로 점진적으로 특징을 정밀하게 개선하는 피라미드 채우기 메커니즘이 생성된 이미지 영역의 품질을 향상시키는가?
• RQ3 다중 척도 감독과 적대적 훈련이 함께 적용될 경우 수렴 속도 향상과 현실감 향상에 기여하는가?
• RQ4 패치 기반 및 잠재 특징 기반 접근법과 비교해 본다면, 제안된 방법은 의미적 일관성과 시각적 타당성 사이의 균형을 얼마나 잘 유지하는가?
• RQ5 다양한 인painting 시나리오에서 모델은 세밀한 질감과 구조적 세부 정보를 얼마나 잘 유지하는가?

주요 결과

• 사용자 연구에서 PEN-Net은 82.10%의 쌍 비교에서 다른 방법들보다 더 자연스럽다고 평가되었으며, 이는 PatchMatch(40.15%)와 PConv(23.70%)를 크게 앞서는 성과이다.
• DTD 데이터셋에서 32×32 마스크를 사용한 PEN-Net의 인painting 결과 중 82.23%가 인간 평가자들에 의해 실제 이미지로 분류되었으며, 강력한 시각적 현실감을 보여준다.
• 128×128 마스크를 사용한 경우에도 PEN-Net 결과의 32.70%가 여전히 실제 이미지로 판단되어 큰 구멍에 대해서도 뛰어난 내성성을 입증한다.
• 제거 분석 결과 ATN과 피라미드 채우기의 조합은 FID를 26.38(단일 ATN)에서 15.19로 감소시켜 더 뛰어난 생성 품질을 입증한다.
• 다중 척도 디코더와 피라미드 L1 손실은 시각화된 다양한 척도에서의 디코딩 과정을 통해 점진적 개선을 가능하게 하였다.
• 어텐션 전달 메커니즘은 바닐라 U-Net이나 CA와 달리 누락 영역에 일관된 패치를 성공적으로 채웠으며, 얕은 레이어에서 타당한 콘텐츠 재구성에 실패한 반면 PEN-Net은 이를 성공적으로 수행하였다.