[논문 리뷰] Image Inpainting via Conditional Texture and Structure Dual Generation

Xiefan Guo, Hongyu Yang외 1명|arXiv (Cornell University)|2021. 08. 22.

Generative Adversarial Networks and Image Synthesis참고 문헌 39인용 수 18

한 줄 요약

이 논문은 이중 스트림 생성 네트워크를 제안하여, 구조 제약이 가해진 텍스처 합성과 텍스처 유도 구조 복원을 결합된 방식으로 공동으로 모델링한다. 이중 가중치 페어링 특징 융합(Bi-GFF) 모듈과 맥락적 특징 집약(CFA) 모듈을 사용하여 일관성과 세부 사항을 향상시킨다. 이 방법은 CelebA, Paris StreetView, Places2 데이터셋에서 최신 기준 성능을 달성한다.

ABSTRACT

Deep generative approaches have recently made considerable progress in image inpainting by introducing structure priors. Due to the lack of proper interaction with image texture during structure reconstruction, however, current solutions are incompetent in handling the cases with large corruptions, and they generally suffer from distorted results. In this paper, we propose a novel two-stream network for image inpainting, which models the structure-constrained texture synthesis and texture-guided structure reconstruction in a coupled manner so that they better leverage each other for more plausible generation. Furthermore, to enhance the global consistency, a Bi-directional Gated Feature Fusion (Bi-GFF) module is designed to exchange and combine the structure and texture information and a Contextual Feature Aggregation (CFA) module is developed to refine the generated contents by region affinity learning and multi-scale feature aggregation. Qualitative and quantitative experiments on the CelebA, Paris StreetView and Places2 datasets demonstrate the superiority of the proposed method. Our code is available at https://github.com/Xiefan-Guo/CTSDG.

연구 동기 및 목표

• 현재의 딥 생성 방법이 구조 및 텍스처 모델링 간 상호작용이 약하여 큰 손상에 대처하는 데 한계를 가진다는 점을 해결하기 위해.
• 구조와 텍스처 생성을 명시적으로 결합하여 이미지 인painting의 전반적 일관성과 세부 사항 품질을 향상시키기 위해.
• 더 자연스러운 결과를 얻기 위해 텍스처 합성과 구조 복원 간 상호 감시를 가능하게 하는 이중 스트림 아키텍처를 개발하기 위해.
• 신규 모듈인 Bi-GFF 및 CFA를 통해 특징 일관성과 장거리 의존성을 향상시키기 위해.

제안 방법

• 이 방법은 한 스트림이 구조 제약이 가해진 텍스처 합성을 수행하고 다른 스트림이 텍스처 유도 구조 복원을 수행하는 이중 스트림 생성기 구조를 사용하여 이중 방향 특징 상호작용을 가능하게 한다.
• 이중 방향 가중치 페어링 특징 융합(Bi-GFF) 모듈을 도입하여 구조 스트림과 텍스처 스트림 간의 특징를 교환하고 개선함으로써 일관성을 향상시킨다.
• 맥락적 특징 집약(CFA) 모듈은 영역 유사도 학습과 다중 척도 특징 융합을 통해 장거리 공간적 의존성을 모델링하여 국소 세부 사항의 정확도를 향상시킨다.
• 판별기 또한 이중 브랜치로 구성되어 있으며, 한 브랜치는 텍스처의 현실감을 평가하고 다른 브랜치는 구조의 선명도를 평가하여 공동 최적화를 가능하게 한다.
• 생성적 적대적 손실, 인지적 손실, L1 손실을 사용하여 현실감, 구조, 픽셀 수준 정확도 간 균형을 맞춘다.
• 아키텍처는 CelebA, Paris StreetView, Places2에서 평가되었으며, Bi-GFF, CFA, 다중 척도 융합에 대한 분석 연구가 수행되었다.

실험 결과

연구 질문

• RQ1 이중 스트림 아키텍처에서 텍스처 합성과 구조 복원을 함께 모델링하는 것이 단일 스트림 또는 순차적 방법에 비해 이미지 인painting 품질을 향상시키는가?
• RQ2 이중 방향 가중치 페어링 특징 융합(Bi-GFF) 모듈이 생성된 텍스처와 구조 간 일관성에 어떤 영향을 미치는가?
• RQ3 맥락적 특징 집약(CFA) 모듈이 인paint된 영역에서 장거리 공간적 일관성과 세부 사항 품질을 얼마나 향상시키는가?
• RQ4 CFA 내의 다중 척도 특징 융합이 정량적 지표와 시각적 품질에 측정 가능한 향상을 가져오는가?
• RQ5 기본 벤치마크에서 정량적 및 정성적 성능 측면에서 최신 기준 방법과 비교해 볼 때, 제안된 방법은 어떤가?

주요 결과

• 제안된 방법은 CelebA, Paris StreetView, Places2 데이터셋에서 새로운 최신 기준 성능을 달성하였으며, 각각 프레셰 인ception 거리(FID)가 0.039, 0.107, 0.226이었다.
• 분석 연구 결과, Bi-GFF 모듈을 제거할 경우 FID가 0.045, 0.114, 0.236로 증가하여, 이는 특징 일관성 유지를 위한 핵심 기여를 한다는 것을 시사한다.
• CFA 모듈을 제거하면 FID가 0.049, 0.119, 0.243로 증가하여, 전반적인 구조와 텍스처 품질 유지를 위한 중요성을 입증한다.
• CFA 내 다중 척도 특징 융합은 원래 단일 척도 버전 대비 FID를 0.004–0.008 향상시켜 효과성을 확인한다.
• 10명의 전문 참가자로 수행한 사용자 연구 결과, 제안된 방법은 최신 기준 방법보다 정성적 현실감에서 유의미하게 선호됨을 보였다.
• 이중 생성을 갖춘 이중 스트림 아키텍처는 단일 스트림 기반 모델과 다중 작업 단일 스트림 네트워크를 모두 능가하며, 구조와 텍스처의 분리된 그러나 상호작용적인 모델링 방식의 유용성을 확인한다.