[논문 리뷰] Residual Feature Distillation Network for Lightweight Image Super-Resolution

Jie Liu, Jie Tang외 1명|arXiv (Cornell University)|2020. 09. 24.

Advanced Image Processing Techniques참고 문헌 30인용 수 32

한 줄 요약

본 논문은 특징 증류 연결과 얕은 잔차 블록으로 구성된 경량 SISR 모델 RFDN을 소개하며, 성능과 모델 크기 간의 최적의 절충을 달성하고, 향상된 버전이 AIM 2020에서 우승했다.

ABSTRACT

Recent advances in single image super-resolution (SISR) explored the power of convolutional neural network (CNN) to achieve a better performance. Despite the great success of CNN-based methods, it is not easy to apply these methods to edge devices due to the requirement of heavy computation. To solve this problem, various fast and lightweight CNN models have been proposed. The information distillation network is one of the state-of-the-art methods, which adopts the channel splitting operation to extract distilled features. However, it is not clear enough how this operation helps in the design of efficient SISR models. In this paper, we propose the feature distillation connection (FDC) that is functionally equivalent to the channel splitting operation while being more lightweight and flexible. Thanks to FDC, we can rethink the information multi-distillation network (IMDN) and propose a lightweight and accurate SISR model called residual feature distillation network (RFDN). RFDN uses multiple feature distillation connections to learn more discriminative feature representations. We also propose a shallow residual block (SRB) as the main building block of RFDN so that the network can benefit most from residual learning while still being lightweight enough. Extensive experimental results show that the proposed RFDN achieve a better trade-off against the state-of-the-art methods in terms of performance and model complexity. Moreover, we propose an enhanced RFDN (E-RFDN) and won the first place in the AIM 2020 efficient super-resolution challenge. Code will be available at https://github.com/njulj/RFDN.

연구 동기 및 목표

• 엣지 디바이스를 위한 빠르고 정확한 단일 이미지 초해상도를 달성한다.
• 가벼운 빌딩 블록을 설계하기 위해 정보 증류를 재검토한다.
• 가벼운 대안으로 특징 증류 연결(FDC)을 제안한다.
• 추가 매개변수 없이 잔차 학습을 강화하기 위해 얕은 잔차 블록(SRB)을 도입한다.
• RFDN과 향상된 RFDN(E-RFDN)이 적은 매개변수로 강력한 SR 성능을 달성함을 보여준다.

제안 방법

• 채널 분할보다 더 가볍고 유연한 3x3 채널 축소 컨볼루션에 대응하는 특징 증류 연결(FDC)을 제안한다.
• IMDB를 재고하여 증류 작업과 정제 작업을 DL(distilled features)과 RL(refinement) 레이어로 분리한다.
• 증류 경로에 대해 3x3 커널은 유지하고 공간 정제를 위해 1x1 컨볼루션으로 채널 축소를 대체한다(RFDB).
• 추가 매개변수 없이 잔차 학습을 활용하기 위해 단일 3x3 컨볼루션과 아이덴티티 스킵을 갖춘 얕은 잔차 블록(SRB)을 도입한다.
• 여러 RFDB를 쌓고 최종 융합(1x1 conv 뒤에 3x3 conv)과 서브픽셀 업샘플링을 이용한 재구성 블록으로 구성한다.
• DIV2K에서 L1 손실로 학습하고 Set5, Set14, BSD100, Urban100, Manga109에서 ×2, ×3, ×4 배율로 평가한다.

실험 결과

연구 질문

• RQ1 가벼운 증류 기반 설계가 매개변수가 더 적은 기존의 경량 SR 모델을 능가할 수 있는가?
• RQ2 1x1 기반 증류 경로(FDC)로 채널 분할을 대체하면 유연성과 효율성이 향상되는가?
• RQ3 얕은 잔차 블록(SRB)이 매개변수를 추가하지 않고 SR 성능을 향상시키는가?
• RQ4 제안된 RFDB 기반 아키텍처가 PSNR/SSIM 및 복잡도 측면에서 IMDN 및 다른 최첨단 경량 SR 모델과 어떻게 비교되는가?
• RQ5 향상된 버전(E-RFDN)이 효율성 중심의 SR 챌린지에서 우승할 수 있는가?

주요 결과

• RFDN은 많은 경량 SR 모델보다 매개변수가 현저히 적으면서도 유리한 PSNR/SSIM 균형을 달성한다.
• 분석 실험에서 SRB는 추가 매개변수 없이 측정 가능한 이점을 제공하고, FDC는 기준선 대비 상당한 향상을 가져온다.
• RFDB에 FDC와 SRB를 적용하면 벤치마크 IMDB 기반 설계보다 성능과 매개변수 효율성 모두에서 우수하다.
• RFDN/M 변형은 매개변수가 약 534K–550K 정도로 IMDN과 경쟁력 있거나 더 우수한 결과를 달성한다.
• 향상된 RFDN(E-RFDN)은 AIM 2020 효율적 초해상도 챌린지에서 1위를 차지하여 강력한 효율성과 성능 향상을 보였다.