[논문 리뷰] Lightweight Image Super-Resolution with Adaptive Weighted Learning Network

Chaofeng Wang, Zheng Li외 1명|arXiv (Cornell University)|2019. 04. 04.

Advanced Image Processing Techniques참고 문헌 38인용 수 82

한 줄 요약

로컬 퓨전 블록과 적응 가중 다중 스케일 모듈을 갖춘 경량 SISR 네트워크(AWSRN)를 제안하여 비슷한 매개변수 수와 계산량으로 우수한 성능을 달성한다.

ABSTRACT

Deep learning has been successfully applied to the single-image super-resolution (SISR) task with great performance in recent years. However, most convolutional neural network based SR models require heavy computation, which limit their real-world applications. In this work, a lightweight SR network, named Adaptive Weighted Super-Resolution Network (AWSRN), is proposed for SISR to address this issue. A novel local fusion block (LFB) is designed in AWSRN for efficient residual learning, which consists of stacked adaptive weighted residual units (AWRU) and a local residual fusion unit (LRFU). Moreover, an adaptive weighted multi-scale (AWMS) module is proposed to make full use of features in reconstruction layer. AWMS consists of several different scale convolutions, and the redundancy scale branch can be removed according to the contribution of adaptive weights in AWMS for lightweight network. The experimental results on the commonly used datasets show that the proposed lightweight AWSRN achieves superior performance on x2, x3, x4, and x8 scale factors to state-of-the-art methods with similar parameters and computational overhead. Code is avaliable at: https://github.com/ChaofWang/AWSRN

연구 동기 및 목표

• 단일 이미지 초해상도에서 계산 비용을 감소시킨다.
• 효과적인 잔차 학습을 갖춘 경량 아키텍처를 설계한다.
• 복원 과정에서 유용한 스케일과 특징을 선택하기 위해 적응 가중치를 활용한다.

제안 방법

• 경량 Adaptive Weighted Super-Resolution Network (AWSRN)을 도입한다.
• 쌓아 올린 adaptive weighted residual units (AWRU)와 로컬 잔차 융합 유닛 (LRFU)으로 구성된 로컬 퓨전 블록 (LFB)을 개발한다.
• 적응 가중 다중 스케일 (AWMS) 모듈을 제안하며, 다중 스케일 컨볼루션과 적응 가중치에 의해 안내되는 제거 가능한 중복 분기를 포함한다.
• 재구성 시 효율적 특징 융합을 위해 적응 가중 잔차 학습을 활용한다.
• 표준 SR 벤치마크에서 x2, x3, x4, x8 스케일에 대해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 가벼운 네트워크와 적응 가중치가 무거운 모델과 비교해 경쟁력 있는 SR 품질을 달성할 수 있는가?
• RQ2 로컬 퓨전 블록이 컴팩트한 아키텍처에서 잔차 학습 효율을 어떻게 개선하는가?
• RQ3 적응 가중 다중 스케일 (AWMS) 모듈이 재구성 품질과 모델 효율성에 미치는 영향은 무엇인가?
• RQ4 AWRSN이 x2, x3, x4, x8의 여러 업스케일링 팩터에서도 유사한 매개변수 수와 계산 부담으로 우수한 성능을 유지하는가?

주요 결과

• AWSRN은 유사한 매개변수 수와 계산 부담으로 최첨단 방법들보다 우수한 성능을 달성한다.
• 로컬 퓨전 블록은 스택된 AWRU와 LRFU를 통해 효율적인 잔차 학습을 가능하게 한다.
• AWMS는 다중 스케일 컨볼루션과 적응 가중치를 활용해 유용한 스케일을 이용하고 중복 분기를 제거한다.
• 이 방식은 여러 업스케일링 팩터(x2, x3, x4, x8)에 걸쳐 효과적이다.
• 결과는 논문에 따라 일반적으로 사용되는 SR 데이터세트에서 시연된다.