[논문 리뷰] Hybrid Pixel-Unshuffled Network for Lightweight Image Super-Resolution

Bin Sun, Yulun Zhang외 2명|arXiv (Cornell University)|2022. 03. 16.

Advanced Image Processing Techniques인용 수 6

한 줄 요약

이 논문은 단일 이미지 초해상도(모델링)를 위한 경량 하이브리드 픽셀-언셔플링 네트워크(HPUN)를 제안한다. 이는 픽셀-언셔플링 다운샘플링과 자기 잔차 깊이 분리 합성곱을 조합하여 특징 표현을 향상시키면서도 계산량과 파라미터를 최소화한다. HPUN은 이전 방법들보다 더 적은 파라미터와 낮은 FLOPs를 갖는다. 또한 기준 데이터셋에서 자체 앙상블 모델을 뛰어넘는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Convolutional neural network (CNN) has achieved great success on image super-resolution (SR). However, most deep CNN-based SR models take massive computations to obtain high performance. Downsampling features for multi-resolution fusion is an efficient and effective way to improve the performance of visual recognition. Still, it is counter-intuitive in the SR task, which needs to project a low-resolution input to high-resolution. In this paper, we propose a novel Hybrid Pixel-Unshuffled Network (HPUN) by introducing an efficient and effective downsampling module into the SR task. The network contains pixel-unshuffled downsampling and Self-Residual Depthwise Separable Convolutions. Specifically, we utilize pixel-unshuffle operation to downsample the input features and use grouped convolution to reduce the channels. Besides, we enhance the depthwise convolution's performance by adding the input feature to its output. Experiments on benchmark datasets show that our HPUN achieves and surpasses the state-of-the-art reconstruction performance with fewer parameters and computation costs.

연구 동기 및 목표

• 딥 컨volution 네트워크 기반 초해상도 모델에서 높은 계산 비용 문제를 해결한다.
• 깊이 분리 합성곱의 성능 저하 문제를 해결하기 위해 잔차 강화 메커니즘을 도입한다.
• 정보 손실의 위험이 있는 관계로 전통적으로 직관적이지 않았던 초해상도에서의 다운샘플링 가능성 탐색한다.
• 최소한의 파라미터와 FLOPs로 높은 재구성 품질을 유지하는 경량 아키텍처 설계한다.
• 특징 유사도(NME)와 모델 성능 간의 관계를 탐구하여 효율적인 네트워크 설계를 안내한다.

제안 방법

• 입력 특징을 직접 출력 특징에 더하는 자기 잔차 깊이 분리 합성곱(SR-DSC)을 도입하여 추가 파라미터 없이 표현 능력을 향상시킨다.
• 픽셀 언셔플링 연산, 맥스 풀링, 그룹 합성곱을 조합한 픽셀-언셔플링 다운샘플러를 제안하여 저주파 특징 표현을 추출하면서 정보 손실을 최소화한다.
• 제안된 다운샘플러와 SR-DSC를 조합한 픽셀-언셔플링 블록(PUB)을 설계하여 계산 비용을 줄인 채 효과적인 특징 학습을 구현한다.
• PUB 내의 한 개의 SR-DSC 레이어를 표준 합성곱으로 교체하여 특징 통신과 성능 향상을 높인 하이브리드 픽셀-언셔플링 네트워크(HPUN)를 구성한다.
• 데이터 시뮬레이션을 위해 이중선형(BI) 열화 모델을 사용하고, Set5, Set14, B100, Urban100, Manga109 등의 표준 벤치마크에서 평가한다.
• 학습 중 모델 복잡도를 증가시키지 않고도 성능을 향상시키기 위해 자기 앙상블 추론을 적용한다.

실험 결과

연구 질문

• RQ1 정보 손실의 위험이 있는 관계로 다운샘플링 연산이 초해상도에서 효과적으로 사용될 수 있는가?
• RQ2 파라미터 증가 없이 깊이 분리 합성곱의 성능 저하 문제를 어떻게 개선할 수 있는가?
• RQ3 경량 초해상도 네트워크에서 특징 유사도(NME)와 모델 성능 간의 최적 균형은 무엇인가?
• RQ4 표준 합성곱과 잔차 깊이 분리 합성곱을 조합한 하이브리드 아키텍처가 낮은 계산 비용으로 뛰어난 성능을 달성할 수 있는가?
• RQ5 픽셀-언셔플링 다운샘플링을 통한 저주파 특징 표현 통합이 초해상도 재구성 품질 향상에 기여하는가?

주요 결과

• HPUN-L은 ×4 스케일에서 모든 기준 데이터셋에서 최신 기술 수준의 PSNR 성능을 달성하며, LatticeNet-CL+와 같은 자기 앙상블 모델을 뛰어넘는다.
• 자기 앙상블를 적용한 결과, HPUN-L은 파라미터와 FLOPs가 더 적은데도 불구하고 LatticeNet-CL+보다 평균 0.11 dB 높은 PSNR 성능을 기록한다.
• HPUN-S는 SRFBN-S와 CARN에 비해 각각 64.4%, 4.2%의 파라미터로 유사한 성능를 달성했으며, FLOPs는 각각 1.4%, 13.9% 수준에 머물렀다.
• 얕은 층과 깊은 층의 특징 간 NME(유사도)가 증가함에 따라 성능이 향상되다가 약 0.007의 임계값을 넘어서면 감소함을 확인하여 최적의 NME 값이 존재함을 시사한다.
• 더 많은 픽셀-언셔플링 다운샘플러나 잔차 연결을 추가할수록 NME가 이 최적 값에 수렴함을 관찰하여 효율적인 네트워크 아키텍처 설계 원칙을 제안한다.
• Urban100과 Manga109에서의 시각적 결과는 HPUN-L이 경쟁 모델 대비 더 적은 잡음과 더 선명한 질감을 생성함을 보여주며, 특히 Manga109의 복잡한 질감에서 뛰어난 성능을 발휘한다.