[논문 리뷰] FreqNet: A Frequency-domain Image Super-Resolution Network with Dicrete Cosine Transform

Runyuan Cai, Yue Ding외 1명|arXiv (Cornell University)|2021. 11. 21.

Advanced Image Processing Techniques참고 문헌 32인용 수 4

한 줄 요약

FreqNet는 이산余弦変換(DCT)특징맵을 사용하여 주파수 도메인에서 고주파 성분을 명시적으로 학습하는 주파수 도메인 초해상도 복원 네트워크를 제안한다. 공간 도메인과 주파수 도메인 브랜치를 결합하고, 새로운 주파수 손실 함수를 도입하여, 기존 공간 도메인 방법에 비해 더 뛰어난 시각적 품질과 고해상도 세부 정보 재구성 성능를 달성한다. 또한 다른 초해상도 모델의 후처리 향상도 가능하게 하여, 주파수 도메인 출력을 융합함으로써 성능 향상을 이룬다.

ABSTRACT

Single image super-resolution(SISR) is an ill-posed problem that aims to obtain high-resolution (HR) output from low-resolution (LR) input, during which extra high-frequency information is supposed to be added to improve the perceptual quality. Existing SISR works mainly operate in the spatial domain by minimizing the mean squared reconstruction error. Despite the high peak signal-to-noise ratios(PSNR) results, it is difficult to determine whether the model correctly adds desired high-frequency details. Some residual-based structures are proposed to guide the model to focus on high-frequency features implicitly. However, how to verify the fidelity of those artificial details remains a problem since the interpretation from spatial-domain metrics is limited. In this paper, we propose FreqNet, an intuitive pipeline from the frequency domain perspective, to solve this problem. Inspired by existing frequency-domain works, we convert images into discrete cosine transform (DCT) blocks, then reform them to obtain the DCT feature maps, which serve as the input and target of our model. A specialized pipeline is designed, and we further propose a frequency loss function to fit the nature of our frequency-domain task. Our SISR method in the frequency domain can learn the high-frequency information explicitly, provide fidelity and good perceptual quality for the SR images. We further observe that our model can be merged with other spatial super-resolution models to enhance the quality of their original SR output.

연구 동기 및 목표

• 공간 도메인 SISR 방법이 고주파 성분을 명시적으로 학습하고 검증하는 데에 한계가 있다는 문제를 해결하기 위해.
• 주파수 도메인에서의 처리를 통해 초해상도 이미지의 시각적 품질과 정확도를 향상시키기 위해.
• 고주파 성분의 주파수 도메인 복원을 위한 특화된 손실 함수와 평가 지표를 개발하기 위해.
• 기존의 초해상도 모델의 출력에 주파수 도메인 출력을 융합하여 후처리 향상을 가능하게 하기 위해.
• DCT 특징맵의 구조를 더 잘 활용할 수 있도록 도메인 특화 잔차 블록(DWRG 및 DRG)을 설계하기 위해.

제안 방법

• 저해상도(LR) 및 고해상도(HR) 이미지를 DCT 블록으로 변환하고, 이를 DCT 특징맵으로 재구성하여 주파수 도메인 처리를 수행한다.
• 이중 브랜치 네트워크를 설계: 공간 특징을 추출하는 공간 추출 네트워크(SEN)와 주파수 도메인 복원을 위한 주파수 재구성 네트워크(FRN)를 구성한다.
• FRN에 깊이 분리 잔차 그룹(DWRG)과 SEN에 변형 가능 잔차 그룹(DRG)을 구현하여 주파수 도메인 및 공간 특성의 특징을 더 잘 포착한다.
• DCT 도메인에서의 재구성 오차를 측정하는 주파수 도메인 손실 함수 $ L_{\text{freq}} $ 를 제안하며, 고주파 채널에 초점을 맞춘다.
• SEN과 FRN 출력의 가중치 합을 통해 최종 주파수 도메인 예측을 생성하고, 이를 역 DCT를 통해 원래 도메인으로 변환한다.
• 기타 초해상도 모델의 출력에서 특정 고주파 DCT 채널을 FreqNet의 출력으로 교체함으로써 모델 융합을 가능하게 하여, 세부 정보 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 공간 도메인 방법에 비해 명시적인 주파수 도메인 학습이 단일 이미지 초해상도 복원에서 고주파 성분 재구성에 어떻게 기여하는가?
• RQ2 伝통적인 PSNR나 MSE에 비해 고주파 성분 정확도 평가에 더 효과적인 주파수 도메인 손실 함수는 어떻게 설계할 수 있는가?
• RQ3 주파수 도메인 특징 추출에 효과적인 아키텍처적 수정은 무엇이며, 이러한 수정이 성능 향상에 어떻게 기여하는가?
• RQ4 FreqNet의 출력을 다른 초해상도 모델과 융합하여 고주파 성분 품질을 효과적으로 향상시킬 수 있는가?
• RQ5 제안된 주파수 도메인 평가 지표(FRM)는 시각적 품질과 고주파 정확도와 얼마나 잘 상관관계를 가지는가?

주요 결과

• DCT 도메인에서 $ L_{\text{freq}} $ 를 사용한 FreqNet 모델은 Set5에서 MSE 기반 기준 모델에 비해 더 높은 PSNR와 FRM 성능를 기록하였으며, 고주파 무늬가 더 선명하게 구현되었다.
• FRM 지표는 PSNR에 비해 고주파 성분 품질에 더 민감하게 반응하여, 주파수 도메인 평가 척도로서의 유효성을 입증하였다.
• 제거 실험 결과, 표준 잔차 그룹을 DWRG와 DRG로 대체함으로써 Set5에서 PSNR는 0.18 dB, FRM는 0.27 점 향상되었다.
• DWRG와 DRG의 조합이 가장 뛰어난 성능(32.08 PSNR, 43.56 FRM, Set5 기준)을 기록하여 도메인 특화 아키텍처의 효과성을 확인하였다.
• GAN 기반 초해상도 모델인 MSRResNet-GAN과 FreqNet의 출력을 융합함으로써, Manga109 데이터셋에서의 시각적 비교 결과에서 잡음이 감소하고 고주파 성분이 잘 유지되는 것으로 나타났다.
• 기존 초해상도 모델의 후처리 향상이 고주파 DCT 채널를 선택적으로 교체함으로써 실용적으로 가능해졌으며, 재학습 없이도 정확도가 향상되었다.