[논문 리뷰] Unpaired Image Super-Resolution using Pseudo-Supervision

Shunta Maeda|arXiv (Cornell University)|2020. 02. 26.

Advanced Image Processing Techniques참고 문헌 57인용 수 6

한 줄 요약

이 논문은 쌍화된 훈련 데이터의 한계를 극복하기 위해 의사 supervision을 사용하는 unpaired 이미지 초해상도 방법을 제안한다. CycleGAN 기반의 보정 네트워크를 통해 커널/노이즈 제거를 수행하고, 고해상도(HR) 이미지에서 유도된 합성된 청소년 저해상도(LR) 이미지에 기반한 의사 쌍화된 초해상도(SR) 네트워크를 별도로 학습시킴으로써, 표준 픽셀 단위 손실 함수를 사용할 수 있게 하고, 정렬된 HR-LR 쌍이 필요 없이 실제 세계 및 합성 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In most studies on learning-based image super-resolution (SR), the paired training dataset is created by downscaling high-resolution (HR) images with a predetermined operation (e.g., bicubic). However, these methods fail to super-resolve real-world low-resolution (LR) images, for which the degradation process is much more complicated and unknown. In this paper, we propose an unpaired SR method using a generative adversarial network that does not require a paired/aligned training dataset. Our network consists of an unpaired kernel/noise correction network and a pseudo-paired SR network. The correction network removes noise and adjusts the kernel of the inputted LR image; then, the corrected clean LR image is upscaled by the SR network. In the training phase, the correction network also produces a pseudo-clean LR image from the inputted HR image, and then a mapping from the pseudo-clean LR image to the inputted HR image is learned by the SR network in a paired manner. Because our SR network is independent of the correction network, well-studied existing network architectures and pixel-wise loss functions can be integrated with the proposed framework. Experiments on diverse datasets show that the proposed method is superior to existing solutions to the unpaired SR problem.

연구 동기 및 목표

• 쌍화된 HR-LR 훈련 데이터가 없을 때 실제 세계의 이미지 초해상도 문제를 해결하기 위해.
• 기존 unpaired SR 방법이 분포 이탈 또는 픽셀 단위 supervision의 부족으로 인해 약화되는 문제를 해결하기 위해.
• unpaired 환경에서도 잘 알려진 SR 네트워크와 픽셀 단위 손실 함수를 사용할 수 있도록 하기 위해.
• 복잡하고 알려지지 않은 과정으로 인해 손상된 실제 세계 이미지에서의 성능 향상하기 위해.

제안 방법

• 실제 저해상도(LR) 이미지를 청소년 저해상도(LR) 이미지로 변환하기 위해 CycleGAN 기반의 unpaired 커널/노이즈 보정 네트워크를 사용한다.
• 보정 네트워크는 이중 방향의 사이클 일致성 손실을 통해 고해상도(HR) 이미지에서 의사 청소년 저해상도(LR) 이미지를 생성한다.
• 별도의 SR 네트워크를 쌍화된 방식으로 학습시켜 의사 청소년 저해상도(LR) 이미지에서 고해상도(HR) 이미지를 재구성함으로써 표준 픽셀 단위 손실 함수를 사용할 수 있도록 한다.
• 전체 네트워크는 사이클 일치성, 정체성 손실, 기하학적 앙상블 손실을 포함한 병합된 손실을 통해 엔드 투 엔드로 학습 가능하다.
• 기하학적 앙상블 손실($\mathcal{L}_{geo}$)은 재구성된 이미지의 구조 일치성을 보장한다.
• 보정 및 SR 작업을 분리함으로써 기존의 SR 아키텍처와 손실 함수와의 통합이 가능해진다.

실험 결과

연구 질문

• RQ1 의사 supervision을 통해 쌍화된 데이터가 필요 없이도, 간접적 또는 직접적 접근 방식보다 더 뛰어난 성능을 내는 GAN 기반 unpaired SR 방법이 가능한가?
• RQ2 HR 데이터로부터 유도된 합성된 청소년 저해상도(LR) 이미지를 통한 의사 supervision이 unpaired 환경에서 표준 SR 네트워크의 효과적인 학습을 가능하게 하는가?
• RQ3 이중 방향 보정 네트워크의 사용이 실제와 생성된 저해상도(LR) 이미지 간의 분포 이탈을 감소시키는가?
• RQ4 픽셀 단위 손실과 기하학적 일치성 손실의 통합이 unpaired SR에서 시각적 품질과 구조적 정확성을 향상시키는가?

주요 결과

• AIM 2019 Real-World Super-Resolution Challenge (Track 2)에서, 이 방법은 PSNR 22.88, SSIM 0.6612, LPIPS 0.4539를 기록하여 ZSSR, ESRGAN 및 Lugmayr 등 [32]를 초월했다.
• 추가 훈련을 통해 성능이 향상되어 PSNR 23.01, SSIM 0.6655, LPIPS 0.4567를 달성하였으며, 이는 방법의 강건성과 확장 가능성을 입증한다.
• WiderFace에서의 실제 얼굴 이미지에서는, RL-restore 및 ZSSR보다 더 나은 세부 사항 보존과 잡음 제거를 보였으며, 가장 시각적으로 자연스러운 결과를 생성했다.
• DOTA에서의 항공 이미지에서는 기하학적 일관성과 객체 구조 유지가 뛰어났으며, 특히 기하학적 앙상블 손실($\mathcal{L}_{geo}$)을 사용할 경우 두드러진 성능 향상을 보였다.
• 제거 분석 결과, 기하학적 앙상블 손실이 구조 일치성을 크게 향상시켜 재구성에서 기하학적 일관성 문제를 줄이는 데 기여했다.
• 합성으로 손상된 이미지, 실제 얼굴, 실제 항공 이미지 등 다양한 데이터셋에서 뛰어난 성능을 기록하여 광범위한 적용 가능성을 입증했다.