[논문 리뷰] Learning Sparse Masks for Efficient Image Super-Resolution

Longguang Wang, Xiaoyu Dong외 5명|arXiv (Cornell University)|2020. 06. 17.

Advanced Image Processing Techniques참고 문헌 22인용 수 5

한 줄 요약

이 논문은 입력 이미지에 조건화된 공간 및 채널 마스크를 학습하여 재귀적 계산을 적응적으로 제거하는 효율적인 이미지 슈퍼레졸루션을 위한 스파스 마스크 학습 프레임워크인 SMSR을 제안한다. 평탄한 영역에서는 계산을 건너뛰고 가장자리에서 세부 정보를 유지함으로써 SMSR은 x2, x3, x4 슈퍼레졸루션 작업에서 FLOPs를 27%에서 41% 감소시키면서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Current CNN-based super-resolution (SR) methods process all locations equally with computational resources being uniformly assigned in space. However, since highfrequency details mainly lie around edges and textures, less computational resources are required for those flat regions. Therefore, existing CNN-based methods involve much redundant computation in flat regions, which increases their computational cost and limits the applications on mobile devices. To address this limitation, we develop an SR network (SMSR) to learn sparse masks to prune redundant computation conditioned on the input image. Within our SMSR, spatial masks learn to identify important locations while channel masks learn to mark redundant channels in those unimportant regions. Consequently, redundant computation can be accurately located and skipped while maintaining comparable performance. It is demonstrated that our SMSR achieves state-of-the-art performance with 41%/33%/27% FLOPs being reduced for x2/3/4 SR.

연구 동기 및 목표

• 입력 기반 콘텐츠에 따라 자원 할당을 조정함으로써 CNN 기반 슈퍼레졸루션 네트워크의 부정확한 계산을 줄이기 위해.
• 특히 평탄한 이미지 영역에서 모든 공간 위치에 걸쳐 균일한 계산이 이루어지는 비효율성을 해결하기 위해.
• 성능을 손상시키지 않으면서 FLOPs를 최소화하여 모바일 장치에 효율적으로 구현 가능하게 하기 위해.
• 동적으로 중요한 공간 및 채널 특징을 식별하고 제거하는 학습 가능한 메커니즘을 개발하기 위해.

제안 방법

• 공간 마스크는 에지 및 텍스처와 같이 중요한 이미지 위치를 식별하여 계산을 우선시한다.
• 채널 마스크는 중요하지 않은 공간 영역에서의 중복 채널을 억제하여 특징 맵 계산을 줄인다.
• 네트워크는 표준 역전파를 사용한 엔드 투 엔드 훈련이 가능한 미분 가능 마스킹 메커니즘을 사용한다.
• 마스크는 입력 이미지에 조건화되어 있어 동적이고 콘텐츠 인식 기반의 계산 제거가 가능하다.
• 마스킹된 영역과 채널에서 순방향 전파를 건너뛰어 FLOPs를 줄이며 성능 저하가 최소화된다.
• 프레임워크는 표준 SR 백본에 스파스 마스킹을 통합하여 기존 아키텍처와의 호환성을 유지한다.

실험 결과

연구 질문

• RQ1 입력 콘텐츠에 기반한 적응적 계산 제거가 성능 저하 없이 효율성을 향상시킬 수 있는가?
• RQ2 공간 및 채널 마스크가 평탄한 이미지 영역에서 중복 계산을 얼마나 효과적으로 식별하고 제거할 수 있는가?
• RQ3 최신 기술 수준의 슈퍼레졸루션 성능을 유지하면서 FLOPs를 얼마나 줄일 수 있는가?
• RQ4 제안된 마스킹 메커니즘이 다양한 스케일링 인자(x2, x3, x4)에 일반화될 수 있는가?
• RQ5 고정 또는 정적 프루닝 전략에 비해 동적이고 입력 조건에 따라 결정되는 마스크 학습 방식은 어떻게 비교되는가?

주요 결과

• SMSR는 x2 슈퍼레졸루션에서 최신 기술 수준의 성능을 유지하면서 FLOPs를 41% 감소시켰다.
• x3 슈퍼레졸루션의 경우, 기준 방법 대비 FLOPs를 33% 감소시켰다.
• x4 슈퍼레졸루션의 경우, FLOPs를 27% 감소시켜 다양한 스케일링 인자에 대한 확장성을 입증했다.
• 매우 높은 FLOP 감소에도 불구하고, 모델은 경쟁력 있는 PSNR 및 SSIM 점수를 유지했다.
• 학습된 마스크는 에지 및 텍스처와 같은 고주파 영역을 효과적으로 식별하고 평탄한 영역에서는 계산을 건너뛴다.
• 제거 분석 결과, 공간 마스크와 채널 마스크 모두 효율성 향상에 기여하는 바가 크다는 것이 확인되었다.