[논문 리뷰] Learning Frequency-aware Dynamic Network for Efficient Super-Resolution

Wenbin Xie, Dehua Song외 4명|arXiv (Cornell University)|2021. 03. 15.

Advanced Image Processing Techniques참고 문헌 35인용 수 6

한 줄 요약

이 논문은 학습 가능한 DCT 기반 마스크 예측기로 저주파 영역에는 경량 연산을, 고주파 영역에는 무거운 연산을 적응적으로 할당함으로써 효율적인 단일 이미지 초해상도를 위한 주파수 인지 동적 네트워크(FADN)를 제안한다. 다양한 벤치마크에서 최신 기술 수준의 성능을 유지하면서도 약 50%의 FLOPs를 절감한다.

ABSTRACT

Deep learning based methods, especially convolutional neural networks (CNNs) have been successfully applied in the field of single image super-resolution (SISR). To obtain better fidelity and visual quality, most of existing networks are of heavy design with massive computation. However, the computation resources of modern mobile devices are limited, which cannot easily support the expensive cost. To this end, this paper explores a novel frequency-aware dynamic network for dividing the input into multiple parts according to its coefficients in the discrete cosine transform (DCT) domain. In practice, the high-frequency part will be processed using expensive operations and the lower-frequency part is assigned with cheap operations to relieve the computation burden. Since pixels or image patches belong to low-frequency areas contain relatively few textural details, this dynamic network will not affect the quality of resulting super-resolution images. In addition, we embed predictors into the proposed dynamic network to end-to-end fine-tune the handcrafted frequency-aware masks. Extensive experiments conducted on benchmark SISR models and datasets show that the frequency-aware dynamic network can be employed for various SISR neural architectures to obtain the better tradeoff between visual quality and computational complexity. For instance, we can reduce the FLOPs of SR models by approximate 50% while preserving state-of-the-art SISR performance.

연구 동기 및 목표

• 모바일 디바이스에서 깊이 신경망 초해상도 모델의 높은 계산 비용을 해결하기 위해.
• 시각적 품질에 기여도가 낮은 저주파 및 중주파 영역 처리에서의 계산 중복을 줄이기 위해.
• DCT 도메인 분석을 이용해 주파수 콘텐츠에 따라 계산을 할당하는 동적 네트워크를 설계하기 위해.
• 고정된 수작업 기반 임계값에 의존하지 않고 주파수 인지 라우팅 마스크의 엔드 투 엔드 학습을 가능하게 하기 위해.
• 다양한 SISR 아키텍처에서 FLOPs를 크게 줄이면서도 높은 이미지 품질을 유지하기 위해.

제안 방법

• 주파수 인지 동적 네트워크(FADN)는 학습 가능한 마스크 예측기를 사용하여 입력 특징을 주파수 기반 브랜치로 분할한다.
• 마스크 예측기는 수작업 DCT 기반 주파수 마스크와 SISR 작업의 재구성 손실을 함께 사용해 엔드 투 엔드로 훈련된다.
• 저주파 성분은 경량 컨볼루션 레이어로 처리하고, 고주파 성분은 더 무거운 연산을 사용한다.
• DCT 도메인을 사용하여 초기 주파수 마스크를 생성함으로써, 모델이 의미 있는 주파수 분할을 학습할 수 있도록 한다.
• 예측기는 입력과 블록마다 다를 수 있는 분할 임계값을 동적으로 조정하여 고정되거나 무작위 마스크를 피한다.
• 이 프레임워크는 브랜치 수를 가변적으로 지원하며, 기존 SISR 아키텍처에 통합될 수 있다.

실험 결과

연구 질문

• RQ1 저주파 및 중주파 영역에서의 계산 중복을 시각적 품질 저하 없이 효과적으로 줄일 수 있는가?
• RQ2 학습 가능한 마스크 예측기가 수작업 DCT 기반 주파수 마스크보다 특징 맵의 동적 라우팅에서 더 우수한 성능을 낼 수 있는가?
• RQ3 주파수 콘텐츠에 기반한 동적 계산 할당이 SISR 모델의 FLOPs-품질 트레이드오프를 향상시키는가?
• RQ4 제안된 FADN은 다양한 SISR 아키텍처에 일반적으로 적용되어 일관된 효율성 향상을 이룰 수 있는가?
• RQ5 마스크 예측기 수와 브랜치 수의 변화가 성능 및 계산 효율성에 어떤 영향을 미치는가?

주요 결과

• 제안된 FADN은 다양한 SISR 모델에서 약 50%의 FLOPs를 절감하면서도 벤치마크 데이터셋에서 최신 기술 수준의 성능을 유지한다.
• ×2 스케일에서 Set5에서는 PSNR 37.90, Urban100에서는 31.85를 기록하여 원본 모델과 동일하거나 이를 초월하는 성능을 달성한다.
• 학습 가능한 주파수 마스크는 무작위 및 고정 DCT 기반 마스크보다 성능이 뛰어나며, 수렴 속도가 빠르고 정확도가 높다.
• 모든 블록에 공통된 마스크 예측기를 사용하는 것은 블록별 예측기보다 성능이 열 劣하므로, 적응형 블록 전용 라우팅의 필요성을 확인한다.
• 3브랜치 FADN은 성능과 저장 비용 간의 최적 균형을 이룹니다. 2- 및 4브랜치 버전보다 뛰어난 성능을 보입니다.
• 혼동 행렬과 시각화 결과는 학습된 마스크가 DCT 기반 분포를 잘 따르지만, 더 높은 정확도를 위해 경계를 적응적으로 개선함을 보여줍니다.