[논문 리뷰] SESR: Single Image Super Resolution with Recursive Squeeze and Excitation Networks

Xi Cheng, Xiang Li외 2명|arXiv (Cornell University)|2018. 01. 31.

Advanced Image Processing Techniques참고 문헌 13인용 수 11

한 줄 요약

이 논문은 효율성과 성능 향상을 위해 순환적 스queeze-and-엑사이테이션 네트워크를 사용하는 단일 이미지 초해상도 방법인 SESR을 제안한다. 스queeze-and-엑사이테이션 모듈과 점진적 복원 전략을 통합한 순환 아키텍처를 통해 SESR은 파라미터와 층 수를 줄이며 네 개의 벤치마크 데이터셋에서 최신 기술 수준의 정확도와 속도를 달성한다.

ABSTRACT

Single image super resolution is a very important computer vision task, with a wide range of applications. In recent years, the depth of the super-resolution model has been constantly increasing, but with a small increase in performance, it has brought a huge amount of computation and memory consumption. In this work, in order to make the super resolution models more effective, we proposed a novel single image super resolution method via recursive squeeze and excitation networks (SESR). By introducing the squeeze and excitation module, our SESR can model the interdependencies and relationships between channels and that makes our model more efficiency. In addition, the recursive structure and progressive reconstruction method in our model minimized the layers and parameters and enabled SESR to simultaneously train multi-scale super resolution in a single model. After evaluating on four benchmark test sets, our model is proved to be above the state-of-the-art methods in terms of speed and accuracy.

연구 동기 및 목표

• 깊은 초해상도 모델이 성능 향상이 미미함에도 불구하고 과도한 계산과 메모리 요구를 유발하는 비효율성 문제를 해결하기 위해.
• 전체 정보를 기반으로 특징 맵을 재조정함으로써 채널 간 상관관계를 명시적으로 모델링함으로써 채널 기반 특징 표현을 향상시키기 위해.
• 순환 아키텍처를 통해 네트워크 깊이와 파라미터 수를 최소화하여 모델 복잡도를 감소시키기 위해.
• 단일 통합 모델 내에서 다중 해상도 초해상도 학습을 가능하게 하기 위해.
• 기존 최신 기술 수준의 방법들보다 빠른 속도와 높은 정확도를 동시에 달성하기 위해.

제안 방법

• 전체 정보를 기반으로 특징 맵을 재조정함으로써 채널 간 상관관계를 명시적으로 모델링하기 위해 스queeze-and-엑사이테이션(SE) 모듈을 도입한다.
• 동일한 블록을 다수 회수 사용하는 순환 네트워크 구조를 활용하여 학습 가능한 파라미터 수와 층 수를 감소시킨다.
• 단일 모델 내에서 다중 해상도에서 점진적으로 출력 이미지를 정밀하게 개선하는 점진적 복원 전략을 적용한다.
• SE 모듈과 순환 아키텍처를 결합하여 특징 표현을 향상시키면서도 계산 효율성을 유지한다.
• 단일 공유 네트워크를 사용해 다중 초해상도 스케일에서 모델을 엔드 투 엔드로 학습시킨다.
• 시각적 품질과 정밀도를 향상시키기 위해 픽셀 기반 손실과 인지적 손실을 조합한 손실 함수를 활용한다.

실험 결과

연구 질문

• RQ1 순환 네트워크 아키텍처는 성능을 유지하거나 향상시키면서도 모델 복잡도를 줄일 수 있는가?
• RQ2 스퀴즈-앤티레이션 메커니즘이 이미지 초해상도의 채널 기반 특징 표현 향상에 얼마나 효과적인가?
• RQ3 각 스케일에 대해 별도의 아키텍처를 사용하지 않고도 단일 모델이 다중 해상도 초해상도 작업을 효과적으로 학습할 수 있는가?
• RQ4 제안된 방법은 기존 최신 기술 수준의 방법들보다 속도, 정확도, 파라미터 효율성 간의 균형을 더 잘 달성하는가?
• RQ5 SE 모듈의 통합은 자원이 제한된 환경이나 깊은 네트워크 설정에서 성능 향상에 얼마나 기여하는가?

주요 결과

• SESR는 네 개의 벤치마크 데이터셋에서 PSNR와 SSIM 모두 최신 기술 수준의 성능을 달성하여 이전 방법들을 능가한다.
• 깊은 잔차 네트워크 대비 파라미터 수와 층 수를 크게 줄여 효율성을 향상시켰다.
• 순환적 구조 덕분에 단일 모델 내에서 다중 해상도 초해상도 학습이 가능해져 배포를 단순화시켰다.
• 스퀴즈-앤티레이션 모듈의 통합은 특징 표현을 향상시켜 더 높은 복원 정확도를 이끌어냈다.
• 더 깊은 모델들보다 빠른 추론 속도를 보였지만 더 높은 정확도를 유지했다.
• 점진적 복원 전략은 안정적인 학습과 다중 해상도에서의 향상된 이미지 품질에 기여했다.