[논문 리뷰] Progressive Image Inpainting with Full-Resolution Residual Network

Zongyu Guo, Zhibo Chen외 3명|arXiv (Cornell University)|2019. 07. 24.

Generative Adversarial Networks and Image Synthesis인용 수 13

한 줄 요약

이 논문은 불규칙한 구멍에 대한 점진적 이미지 복원을 위해 전체 해상도 잔차 네트워크(FRRN)를 제안하며, 고해상도 특징 융합을 유지하여 문양 예측과 수렴을 향상시키는 새로운 전체 해상도 잔차 블록(FRRB)을 사용한다. 이 방법은 N Blocks, One Dilation 전략과 단계별 손실 함수를 활용하여 중간 복원 품질을 향상시키며, Places2, CelebA 및 기타 벤치마크에서 PSNR 및 SSIM 측면에서 유의미한 향상으로 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

Recently, learning-based algorithms for image inpainting achieve remarkable progress dealing with squared or irregular holes. However, they fail to generate plausible textures inside damaged area because there lacks surrounding information. A progressive inpainting approach would be advantageous for eliminating central blurriness, i.e., restoring well and then updating masks. In this paper, we propose full-resolution residual network (FRRN) to fill irregular holes, which is proved to be effective for progressive image inpainting. We show that well-designed residual architecture facilitates feature integration and texture prediction. Additionally, to guarantee completion quality during progressive inpainting, we adopt N Blocks, One Dilation strategy, which assigns several residual blocks for one dilation step. Correspondingly, a step loss function is applied to improve the performance of intermediate restorations. The experimental results demonstrate that the proposed FRRN framework for image inpainting is much better than previous methods both quantitatively and qualitatively. Our codes are released at: \url{https://github.com/ZongyuGuo/Inpainting_FRRN}.

연구 동기 및 목표

• 주변 맥락이 제한된 불규칙한 마스크 영역에서 현실적인 문양을 생성하는 데 도전하는 것.
• 에러 전파를 방지하기 위해 점진적 복원에서 중간 복원 품질을 향상시키는 것.
• 더 나은 문양 합성과 더 빠른 수렴을 위해 전체 해상도 특징을 유지하는 깊이 있고 효과적인 아키텍처를 설계하는 것.
• 불규칙한 구멍에 대해 적응형 마스크 확장을 지원하고 고해상도 재구성 성능을 달성하는 점진적 복원을 가능하게 하는 것.

제안 방법

• 전체 해상도 특징 분기를 유지하는 병렬 구조를 갖춘 전체 해상도 잔차 블록(FRRB)을 도입하여 특징 통합과 문양 예측을 향상시킨다.
• 마스크 확장을 사용하여 이미지를 정제하고 번갈아가며 진행하는 점진적 복원 전략을 적용한다.
• N Blocks, One Dilation 전략을 적용하여 각 확장 단계에 여러 FRRB를 할당하여 마스크 업데이트 이전에 재구성 품질을 향상시킨다.
• 에러 전파를 억제하고 훈련 중 안정성을 향상시키기 위해 중간 출력을 정규화하는 단계별 손실 함수를 사용한다.
• 각각 여러 개의 FRRB를 포함하는 다수의 확장 모듈로 구성된 전체 해상도 잔차 네트워크(FRRN)를 설계하여 큰 불규칙한 구멍을 처리한다.
• L1 손실과 인지적 손실을 사용하여 네트워크를 엔드 투 엔드로 훈련하며, 각 중간 단계에서 단계별 손실을 적용한다.

실험 결과

연구 질문

• RQ1 전체 해상도 잔차 아키텍처는 이미지 복원에서 문양 합성과 수렴 속도를 향상시킬 수 있는가?
• RQ2 통제된 마스크 확장을 갖춘 점진적 정제가 더 나은 중간 및 최종 재구성 품질을 이끌 수 있는가?
• RQ3 N Blocks, One Dilation 전략과 단계별 손실 함수가 함께 점진적 복원에서 에러 전파를 억제할 수 있는가?
• RQ4 각 확장 모듈당 FRRB의 수가 다양한 구멍 크기에서 성능에 미치는 영향은 어떠한가?

주요 결과

• FRRB 내 전체 해상도 분기 구조는 수렴 속도를 향상시키며, 10%-20% 마스크 조건에서 CelebA에서 PSNR를 0.63점 향상시켜 33.66(비교 대상: 33.03)를 달성한다.
• 단계별 손실 함수는 다양한 마스크 크기에서 평균적으로 PSNR를 0.58점 향상시켜 중간 및 최종 결과를 일관되게 향상시킨다.
• 세 개의 확장 모듈(6개의 FRRB)을 갖춘 경량 FRRN은 CelebA에서 33.66의 PSNR를 기록하며 소형 및 중형 구멍에 대해 최고 성능에 가까운 성능을 달성한다.
• 여덟 개의 모듈(16개의 FRRB)을 갖춘 전체 FRRN은 10%-20% 마스크 조건에서 PSNR 34.07을 기록하여 더 큰 구멍에 대한 확장성을 입증한다.
• 이 방법은 Places2에서 이전 최신 기술(SOTA) 방법들인 EdgeConnect 및 PConv를 초월하여 PSNR, SSIM 및 L1 지표에서 최신 기술 성능을 달성한다.
• 제거 실험 결과, 전체 해상도 분기와 단계별 손실 모두 고품질 재구성과 안정적인 훈련에 필수적임을 확인한다.