[논문 리뷰] Learning A Single Network for Scale-Arbitrary Super-Resolution

Longguang Wang, Yingqian Wang외 4명|arXiv (Cornell University)|2020. 04. 08.

Advanced Image Processing Techniques참고 문헌 49인용 수 7

한 줄 요약

이 논문은 기존의 단일 이미지 초해상도 네트워크가 비정수 및 비대칭 스케일 인자도 처리할 수 있도록 하는 플러그인 모듈을 제안한다. 조건부 컨볼루션을 통해 동적이고 스케일 인식형 필터 생성을 가능하게 하여, 정수 스케일에서 최신 기술 성능을 달성하면서도 최소한의 계산 부담으로 임의의 스케일에 대해 종단 간 초해상도를 효율적으로 수행한다.

ABSTRACT

Recently, the performance of single image super-resolution (SR) has been significantly improved with powerful networks. However, these networks are developed for image SR with a single specific integer scale (e.g., x2;x3,x4), and cannot be used for non-integer and asymmetric SR. In this paper, we propose to learn a scale-arbitrary image SR network from scale-specific networks. Specifically, we propose a plug-in module for existing SR networks to perform scale-arbitrary SR, which consists of multiple scale-aware feature adaption blocks and a scale-aware upsampling layer. Moreover, we introduce a scale-aware knowledge transfer paradigm to transfer knowledge from scale-specific networks to the scale-arbitrary network. Our plug-in module can be easily adapted to existing networks to achieve scale-arbitrary SR. These networks plugged with our module can achieve promising results for non-integer and asymmetric SR while maintaining state-of-the-art performance for SR with integer scale factors. Besides, the additional computational and memory cost of our module is very small.

연구 동기 및 목표

• 기존 초해상도 네트워크가 특정 정수 스케일 인자에 대해서만 훈련되어 있으며, 비정수 또는 비대칭 스케일링을 처리할 수 없는 한계를 해결하기 위해.
• 비정수 및 비대칭 케이스를 포함한 임의의 스케일 인자에 대해 고품질 초해상도를 수행할 수 있는 단일 모델을 가능하게 하기 위해.
• 백본을 재훈련하지 않고도 기존 네트워크에 통합할 수 있는 경량이며 즉시 사용 가능한 모듈을 개발하기 위해.
• 메타러닝과 큰 메모리 오버헤드에 의존하는 기존 방법들(예: Meta-SR)과 비교해 계산 및 메모리 비용을 줄이기 위해.
• 후처리 보간을 통해 품질이 떨어지는 것을 방지하기 위해 종단 간 솔루션을 제공하여 임의의 스케일에 대해 초해상도를 수행하기 위해.

제안 방법

• 기존에 훈련된 초해상도 네트워크에 부착할 수 있는 플러그인 모듈을 도입하여, 임의의 스케일에 대해 초해상도를 수행할 수 있도록 한다.
• 목표 스케일 인자에 따라 특징 맵을 조건화함으로써 다양한 스케일에 적합한 특징 표현을 향상시키기 위한 다수의 스케일 인식 특징 적응 블록을 설계한다.
• 조건부 컨볼루션을 사용하여 입력 스케일에 따라 동적 필터를 생성하는 스케일 인식 업샘플링 레이어를 구현한다.
• 조건부 컨볼루션을 통해 스케일에 특화된 필터를 생성함으로써, 네트워크가 임의의 스케일 인자에 대해 적응적으로 필터링 동작을 조정할 수 있도록 한다.
• 백본 네트워크와 함께 엔드 투 엔드로 모듈을 훈련시켜, 임의의 스케일에 대해 특징과 업샘플링을 공동 최적화할 수 있도록 한다.
• RCAN, RDN, EDSR 등의 최신 네트워크에 모듈을 적용하여 스케일 유형에 관계없이 일관된 성능 향상을 달성한다.

실험 결과

연구 질문

• RQ1 비정수 및 비대칭 케이스를 포함한 임의의 스케일 인자에 대해 초해상도를 수행할 수 있는 단일 딥러닝 모델을 훈련시킬 수 있는가? 각 스케일에 대해 별도의 모델이 필요하지 않도록 할 수 있는가?
• RQ2 스케일 정보를 특징 학습 및 업샘플링 과정에 효과적으로 통합하여 다양한 스케일 인자에서의 성능을 향상시킬 수 있는가?
• RQ3 기존의 스케일 전용 네트워크를 위한 임의의 스케일 초해상도 성능 향상을 위해 계산 및 메모리 비용을 최소화한 경량 플러그인 모듈을 설계할 수 있는가?
• RQ4 기존의 방법들(예: Meta-SR)과 비교해 비정수 및 비대칭 스케일 인자에서 제안된 방법의 성능는 어떠한가?
• RQ5 제안된 방법이 표준 정수 스케일 인자(×2, ×3, ×4)에서 성능을 유지하거나 향상시키면서도 임의의 스케일로 확장할 수 있는가?

주요 결과

• ArbRCAN은 비대칭 스케일링(×2.5, ×3.5)에 대해 Manga109 데이터셋에서 PSNR 37.93 dB를 기록하여 Meta-RCAN (+Bicubic)의 37.80 dB 및 Meta-RCAN (+Bicubic+ft)의 37.80 dB를 초월한다.
• 제안된 방법은 메모리 비용을 Meta-RCAN의 2.8GB에서 0.7GB로 감소시키고, 추론 시간도 0.61초에서 0.29초로 단축시켜 뚜렷한 효율성 향상을 보였다.
• Urban100 데이터셋에서 ArbRCAN은 비대칭 스케일링 ×3.5에 대해 PSNR 34.41 dB를 달성하여, 후처리 보간이 적용된 기준 RCAN 및 Meta-RCAN보다 뚜렷이 뛰어난 성능을 보였다.
• 시각적 비교 결과, ArbRCAN은 다른 방법들에 비해 세밀한 디테일을 유지하고 블러링 아티팩트를 줄이며, 특히 줄무늬나 텍스트와 같은 텍스처에서 뛰어난 성능을 보였다.
• 플러그인 모듈는 표준 정수 스케일 인자(×2, ×3, ×4)에서 최신 기술 성능을 유지하거나 이를 초월하며, 원본 네트워크의 성능과 동일하거나 뛰어난 PSNR 값을 기록했다.
• 이 방법은 비대칭 스케일링에 대해 종단 간 임의의 스케일 초해상도를 지원하는 최초의 방법으로, 후처리 보간의 필요성을 제거했다.