[논문 리뷰] A Fully Progressive Approach to Single-Image Super-Resolution

Yifan Wang, Federico Perazzi외 4명|arXiv (Cornell University)|2018. 04. 09.

Advanced Image Processing Techniques참고 문헌 27인용 수 35

한 줄 요약

이 논문은 단일 이미지 초해상도를 위한 완전히 점진적인 딥러닝 프레임워크인 ProSR를 제안한다. 이는 피라미드 아키텍처와 조밀한 압축 유닛을 사용해 단계적으로 이미지를 업샘플링한다. 낮은 업샘플링 비율에서 높은 비율로 점진적으로 훈련하고, 점진적 GAN(ProGanSR)을 통합함으로써 최신 기준 PSNR 및 SSIM 점수를 달성한다. 8× 업샘플링에서 SSIM 2위, PSNR 4위를 기록했으며, NTIRE2018 대회에서 상위 모델 대비 5배 빠른 속도를 보였다.

ABSTRACT

Recent deep learning approaches to single image super-resolution have achieved impressive results in terms of traditional error measures and perceptual quality. However, in each case it remains challenging to achieve high quality results for large upsampling factors. To this end, we propose a method (ProSR) that is progressive both in architecture and training: the network upsamples an image in intermediate steps, while the learning process is organized from easy to hard, as is done in curriculum learning. To obtain more photorealistic results, we design a generative adversarial network (GAN), named ProGanSR, that follows the same progressive multi-scale design principle. This not only allows to scale well to high upsampling factors (e.g., 8x) but constitutes a principled multi-scale approach that increases the reconstruction quality for all upsampling factors simultaneously. In particular ProSR ranks 2nd in terms of SSIM and 4th in terms of PSNR in the NTIRE2018 SISR challenge [34]. Compared to the top-ranking team, our model is marginally lower, but runs 5 times faster.

연구 동기 및 목표

• 큰 업샘플링 비율(예: 8×)에서 높은 품질의 초해상도를 달성하는 데 도전하는 데서, 기존 방법들이 재구성 정확도와 계산 비용 측면에서 어려움을 겪는 문제를 해결한다.
• 직접 업샘플링(높은 메모리 소비)과 파이프라인 끝단 업샘플링(아티팩트 발생)의 한계를 극복하기 위해 점진적이고 다중 척도 아키텍처를 도입한다.
• 낮은 비율에서 높은 비율로 점진적으로 업샘플링 비율을 증가시키는 커리큘럼 학습 전략을 통해 모든 척도에서 훈련 안정성과 성능을 향상시킨다.
• 고해상도 출력의 정서적 품질을 향상시키기 위해, 현실적인 질감을 환영하는 점진적 GAN 프레임워크를 통합한다.

제안 방법

• 이미지를 각 수준에서 2배씩 점진적으로 업샘플링하는 피라미드 네트워크 아키텍처를 설계하며, 특징 학습과 정보 흐름을 향상시키기 위해 조밀한 압축 유닛(DCUs)을 사용한다.
• 하위 수준에 더 많은 레이어를 포함한 비대칭 피라미드 설계를 도입하여 재구성 정확도를 향상시키고 메모리 소비를 줄인다.
• 낮은 업샘플링 비율에서 시작해 점차 높은 비율로 증가시키는 커리큘럼 학습 전략을 기반으로 한 점진적 훈련 전략을 구현한다.
• 각 척도에서 잔차 출력을 기반으로 작동하는 판별자와 함께 다중 척도 훈련을 통합하는 프로그레시브 GAN인 ProGanSR을 개발한다.
• 명시적인 질감 매칭 손실 없이도 광범위한 인식 손실과 적대적 훈련을 결합하여 사진처럼 현실적인 결과를 생성한다.
• 추론 시 기하학적 앙상블을 적용하여 성능을 추가로 향상시키며, 특히 NTIRE2018 대회에서 유의미한 성과를 기록한다.

실험 결과

연구 질문

• RQ1 단계별로 업샘플링하는 점진적 아키텍처가 대규모 초해상도에서 재구성 정확도와 효율성을 향상시킬 수 있는가?
• RQ2 낮은 비율에서 높은 비율로 점진적으로 업샘플링 비율을 증가시키는 커리큘럼 학습 방식이 모든 척도에서 모델 수렴성과 성능 향상에 기여하는가?
• RQ3 다중 척도 판별자를 갖춘 점진적 GAN 설계가 기존의 GAN 기반 SISR 방법보다 8× 업샘플링에서 더 사진처럼 현실적인 결과를 낼 수 있는가?
• RQ4 비대칭 피라미드 설계는 대칭 또는 재귀적 아키텍처에 비해 메모리 효율성과 재구성 품질 측면에서 어떻게 비교되는가?
• RQ5 점진적 다중 척도 접근 방식이 PSNR/SSIM 및 추론 속도 모두에서 최신 기준 모델을 초월할 수 있는가?

주요 결과

• ProSR는 8× 업샘플링에서 DIV2K 데이터셋에서 최신 기준 PSNR 36.44 dB와 SSIM 0.781을 기록했으며, 이는 이 설정에서 모든 이전 방법을 능가하는 성능이다.
• NTIRE2018 SISR 챌린지에서 ProSR는 SSIM 2위, PSNR 4위를 기록했으며, 상위 팀보다 단지 0.04 dB 낮은 PSNR를 기록했지만, 5배 더 빠른 속도로 작동했다.
• B100 데이터셋에서 8× 업샘플링 시 ProSRℓ는 PSNR 25.29 dB, SSIM 0.708을 기록했으며, EDSR(24.96 dB, 0.699 SSIM)와 같은 이전 최고 성능 모델을 크게 능가했다.
• 점진적 훈련 전략은 총 훈련 시간을 단축시키고 GAN 훈련의 안정성을 향상시켜, 8×까지 고해상도의 고품질이고 정서적으로 타당한 세부 정보를 안정적으로 생성할 수 있도록 했다.
• 비대칭 피라미드 설계는 대칭 또는 재귀적 아키텍처에 비해 메모리 소비를 줄이고 재구성 정확도를 향상시켰으며, 특히 높은 업샘플링 비율에서 유의미한 성과를 보였다.
• 시각적 결과에서는 ProSR가 GAN을 통해 명시적인 질감 매칭 손실 없이도 지상 참값과 잘 일치하는 세밀한 질감을 환영하며, SRGAN과 EnhanceNet에 비해 정서적 품질과 확장성 측면에서 뛰어난 성능을 보였다.