[논문 리뷰] An Effective Single-Image Super-Resolution Model Using Squeeze-and-Excitation Networks

Kangfu Mei, Aiwen Jiang외 3명|arXiv (Cornell University)|2018. 10. 03.

Advanced Image Processing Techniques참고 문헌 20인용 수 5

한 줄 요약

이 논문은 Squeeze-and-Excitation(SE) 블록을 통합하여 특징 맵 내 채널 간 상관관계를 모델링하고 동적 채널별 특징 재보정을 가능하게 하는 딥 리서지드 슈퍼리졸루션 네트워크인 SrSENet을 제안한다. SE 블록과 스킵 커넥션, 효율적인 디컨볼루션을 적용함으로써 복잡도를 감소시키면서도 특히 큰 업스케일링 비율(예: 8배)에서 최신 기술 수준의 PSNR 및 SSIM 성능을 달성한다.

ABSTRACT

Recent works on single-image super-resolution are concentrated on improving performance through enhancing spatial encoding between convolutional layers. In this paper, we focus on modeling the correlations between channels of convolutional features. We present an effective deep residual network based on squeeze-and-excitation blocks (SEBlock) to reconstruct high-resolution (HR) image from low-resolution (LR) image. SEBlock is used to adaptively recalibrate channel-wise feature mappings. Further, short connections between each SEBlock are used to remedy information loss. Extensive experiments show that our model can achieve the state-of-the-art performance and get finer texture details.

연구 동기 및 목표

• 컨volutional 특징 내 채널 간 상관관계를 모델링하여 단일 이미지 슈퍼리졸루션 성능을 향상시키기 위해.
• 특히 높은 업스케일링 비율에서 성능을 유지하거나 향상시키면서 모델 복잡도를 감소시키기 위해.
• 네트워크 깊이나 복잡도를 늘리지 않고도 유연하고 빠르며 정확한 슈퍼리졸루션 프레임워크를 개발하기 위해.
• SISR의 불안정한 성질을 해결하기 위해 적응형 채널 재보정을 통해 특징 표현을 향상시키기 위해.

제안 방법

• 특징 추출 단계에서 동적이고 학습 가능한 채널별 특징 재보정을 수행하기 위해 Squeeze-and-Excitation(SE) 블록을 도입한다.
• 정보 손실과 기울기 소실을 완화하기 위해 입력에서 각 SE 블록까지 스킵 커넥션을 적용한 잔차 학습을 수행한다.
• 스케일 별로 다른 디컨볼루션 레이어를 사용하면서도 공통된 특징 추출 아키텍처를 유지함으로써 업스케일링을 수행한다.
• 완전 연결 계층과 시그모이드 활성화 함수를 통해 채널별 주의 가중치를 학습하기 위해 각 채널의 전역 정보를 요약하는 압축 연산과 채널별 주의를 계산하는 자극 연산을 수행한다.
• SE 블록을 활용하여 표현 능력을 향상시키면서도 여분의 레이어를 제거함으로써 경량 네트워크를 설계한다.
• 일관된 특징 추출과 확장 가능한 업스케일링을 위해 공통된 아키텍처를 기반으로 2배, 4배, 8배 등 다양한 업스케일링 비율을 지원하도록 네트워크 아키텍처를 적응시킨다.

실험 결과

연구 질문

• RQ1 컨volutional 특징 내 채널 간 상관관계를 모델링하면 슈퍼리졸루션 성능 향상에 기여하는가?
• RQ2 잔차 네트워크 아키텍처에 Squeeze-and-Excitation 블록을 통합하면 텍스처 재구성 품질 향상과 함께 PSNR/SSIM 성능 향상이 이루어지는가?
• RQ3 더 적은 레이어를 가진 경량 네트워크가 채널별 재보정을 통해 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 높은 업스케일링 비율(예: 8배)에서 기존의 SISR 모델과 비교해 성능 및 속도 측면에서 어떻게 성과를 내는가?
• RQ5 모델 복잡도를 감소시키면서도 높은 정확도를 유지할 수 있는가?

주요 결과

• 8배 업스케일링 벤치마크에서 SrSENet은 Set14에서 PSNR 26.10을 기록하여 VDSR(25.72)와 LapSRN(26.14)를 초월했으며, SSIM은 0.703을 기록했다.
• 4배 업스케일링에서 SrSENet은 Set5에서 PSNR 31.40을 기록하여 VDSR(31.35)와 LapSRN(31.54)를 뛰어넘었으며, SSIM은 0.881을 기록했다.
• Urban100에서 4배 업스케일링 시 SrSENet은 PSNR 25.21, SSIM 0.762를 기록하여 VDSR(25.18)와 LapSRN(25.21)을 초월했으며, 더 나은 텍스처 세부 정보 복원 능력을 입증했다.
• 절단 실험 결과, SE 블록을 제거할 경우 Set5에서 PSNR가 0.10 감소(31.30 대비 31.40)함을 확인하여 채널 재보정의 핵심적 역할을 입증했다.
• 모든 벤치마크(SET5, Set14, BSDS100, Urban100, Manga109)에서 2배, 4배, 8배 업스케일링 모두에서 네트워크 깊이나 복잡도를 늘리지 않고도 최신 기술 수준의 성능을 달성했다.
• 시각적 비교 결과, Bicubic, SRCNN, FSRCNN, VDSR, LapSRN과 비교해 SrSENet이 특히 높은 스케일에서 더 선명한 텍스처와 더 세밀한 세부 정보를 생성하는 것으로 나타났다.