[논문 리뷰] Lightweight and Efficient Image Super-Resolution with Block State-based Recursive Network

Junho Choi, Jun-Hyuk Kim외 2명|arXiv (Cornell University)|2018. 11. 30.

Advanced Image Processing Techniques참고 문헌 24인용 수 12

한 줄 요약

이 논문은 블록 상태 기반 재귀 네트워크(_BS循_N)를 제안한다. 이는 기능 기록을 추적하기 위해 전용 블록 상태를 도입함으로써 재귀 신경망의 성능을 향상시키는 경량이고 효율적인 초해상도 방법이다. 기능 처리에서 역사적 맥락을 분리함으로써, BSRN은 이전의 재귀적 및 비재귀적 모델보다 훨씬 적은 파라미터와 더 빠른 추론을 통해 최신 기술 수준의 PSNR 및 SSIM 점수를 달성한다.

ABSTRACT

Recently, several deep learning-based image super-resolution methods have been developed by stacking massive numbers of layers. However, this leads too large model sizes and high computational complexities, thus some recursive parameter-sharing methods have been also proposed. Nevertheless, their designs do not properly utilize the potential of the recursive operation. In this paper, we propose a novel, lightweight, and efficient super-resolution method to maximize the usefulness of the recursive architecture, by introducing block state-based recursive network. By taking advantage of utilizing the block state, the recursive part of our model can easily track the status of the current image features. We show the benefits of the proposed method in terms of model size, speed, and efficiency. In addition, we show that our method outperforms the other state-of-the-art methods.

연구 동기 및 목표

• 기존 재귀 초해상도 네트워크의 비효율성, 즉 기능 표현과 역사적 상태 추적을 혼합하는 문제를 해결하기 위해.
• 이미지 품질을 손상시키지 않고 깊이 있는 초해상도 네트워크의 모델 복잡성과 계산 비용을 줄이기 위해.
• 전용 블록 상태를 사용해 재귀 상태를 메인 기능 처리 경로에서 분리함으로써 기능 학습을 향상시키기 위해.
• 실시간 응용 프로그램(예: 점진적 로딩)을 위한 점진적 이미지 생성을 가능하게 하기 위해.
• 작은 모델 크기 유지와 함께 PSNR 및 SSIM에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 재귀 블록 내에 메인 특징 맵과 별도의 메모리 유닛인 블록 상태를 도입하여 역사를 저장한다.
• 재귀 유닛을 설계하여 입력 특징과 블록 상태를 동시에 처리하고, 현재 특징 맵에 기반해 블록 상태를 업데이트한다.
• 재귀 블록 내부에 잔차 연결을 사용하여 학습 안정성과 기능 전파를 향상시킨다.
• 다중 재귀 단계를 거쳐 점차 더 정교한 출력을 생성하는 점진적 업샘플링 전략을 적용한다.
• 재귀 레이어 간에 파라미터 공유를 적용하여 모델 크기를 최소화하면서도 표현 능력을 유지한다.
• 최종 출력 생성을 재귀 상태에서 분리하여 네트워크가 상태 관리에 집중하기보다 기능 정교화에 집중할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 재귀 네트워크에 전용 블록 상태를 도입하면 초해상도 작업에서 기능 표현 향상과 모델 복잡성 감소에 기여할 수 있는가?
• RQ2 재귀 상태를 기능 처리 경로에서 분리하면 이미지 품질과 추론 속도에 어떤 영향을 미치는가?
• RQ3 경량 재귀 아키텍처가 더 깊고 큰 모델에 비해 초해상도에서 어느 정도 뛰어난 성능을 낼 수 있는가?
• RQ4 재귀 네트워크는 점진적으로 이미지를 생성할 수 있는가? 이는 점진적 로딩과 같은 응용에 유용한가?
• RQ5 제안된 블록 상태 메커니즘이 기존의 재귀 및 비재귀 방법에 비해 더 높은 PSNR 및 SSIM 점수를 제공하는가?

주요 결과

• Set5 데이터셋에서 ×2 스케일에서 BSRN은 34.32 dB의 최고 PSNR를 기록하여 CARN 및 DSRN을 포함한 모든 비교 모델을 능가한다.
• Urban100 데이터셋에서 ×2 스케일에서 BSRN은 PSNR 32.14 dB, SSIM 0.8983을 기록했으며, DRCN보다 70% 적은 파라미터를 사용함에도 불구하고 DRCN, DRRN, DSRN을 모두 능가한다.
• ×2 스케일에서 모델은 오직 779K 파라미터만을 사용하고, ×4 스케일에서는 742K로, DRCN(1.77M)과 DSRN(~1.2M)보다 훨씬 적은 파라미터를 사용하면서도 뛰어난 성능을 유지한다.
• Figure 6에서 시각적으로 확인했듯이, BSRN은 다른 방법들보다 더 선명한 질감과 더 적은 잡음 및 아티팩트를 생성한다. 특히 Urban100 데이터셋의 복잡한 장면에서 뚜렷한 성능 향상을 보였다.
• 모델은 점진적 이미지 생성을 가능하게 하여 중간 출력을 실시간 또는 대역폭 제약이 있는 응용 프로그램에 활용할 수 있다.
• CARN(1.1M 파라미터)과 비교해도 더 작은 모델 크기(×2 스케일에서 779K)를 유지하면서도 유사하거나 더 뛰어난 성능을 달성함으로써, 블록 상태 설계의 효율성을 입증한다.