[논문 리뷰] Exploring Sparsity in Image Super-Resolution for Efficient Inference

Longguang Wang, Xiaoyu Dong외 5명|arXiv (Cornell University)|2020. 06. 17.

Advanced Image Processing Techniques참고 문헌 48인용 수 15

한 줄 요약

이 논문은 깊이 학습 기반 이미지 슈퍼레졸루션에 있어 불필요한 계산을 동적으로 제거하기 위해 공간 및 채널 마스크를 학습하여 '중요한' 영역(예: 에지 및 텍스처)과 부족한 채널을 식별하는 Sparse Mask Super-Resolution (SMSR)를 제안한다. 추론 중에 희소 컨벌루션을 적용함으로써 SMSR는 ×2/×3/×4 슈퍼레졸루션에서 각각 41%/33%/27%의 FLOPs를 감소시키면서도 최신 기술 수준의 성능을 유지한다.

ABSTRACT

Current CNN-based super-resolution (SR) methods process all locations equally with computational resources being uniformly assigned in space. However, since missing details in low-resolution (LR) images mainly exist in regions of edges and textures, less computational resources are required for those flat regions. Therefore, existing CNN-based methods involve redundant computation in flat regions, which increases their computational cost and limits their applications on mobile devices. In this paper, we explore the sparsity in image SR to improve inference efficiency of SR networks. Specifically, we develop a Sparse Mask SR (SMSR) network to learn sparse masks to prune redundant computation. Within our SMSR, spatial masks learn to identify "important" regions while channel masks learn to mark redundant channels in those "unimportant" regions. Consequently, redundant computation can be accurately localized and skipped while maintaining comparable performance. It is demonstrated that our SMSR achieves state-of-the-art performance with 41%/33%/27% FLOPs being reduced for x2/3/4 SR. Code is available at: https://github.com/LongguangWang/SMSR.

연구 동기 및 목표

• 모바일 및 엣지 디바이스에서 깊이 신경망 기반 슈퍼레졸루션 모델의 높은 계산 비용을 해결하기 위해.
• 평탄한 영역은 텍스처나 에지가 많은 영역보다 계산이 적게 필요한 이미지 슈퍼레졸루션의 내재된 희소성 특성을 활용하기 위해.
• 학습 가능한 마스크를 사용해 세밀한 수준에서 불필요한 계산을 동적으로 건너뛸 수 있는 방법을 개발하기 위해.
• 상당히 감소된 FLOPs와 향상된 추론 효율성으로 최신 기술 수준의 성능를 달성하기 위해.
• 기반 학습 마스크가 기하학적 기반 마스크와 같은 히우리스틱 접근 방식보다 우월함을 입증하기 위해.

제안 방법

• 공간 마스크는 중요한 이미지 영역을 식별하고, 채널 마스크는 중요하지 않은 영역 내의 불필요한 채널을 식별하는 두 가지 유형의 마스크를 학습하는 Sparse Mask SR (SMSR) 네트워크를 제안한다.
• 학습 중에 미분 가능한 소프트 마스크를 얻기 위해 Gumbel-Softmax 기법을 사용하여 엔드 투 엔드 최적화를 가능하게 한다.
• 추론 중에 희소 컨벌루션 연산을 적용하여 마스크된 영역과 채널에서 계산을 건너뛴다.
• 공간 마스크와 채널 마스크를 함께 통합하여 불필요한 계산의 세밀한 국소화를 가능하게 한다.
• 재구성 품질을 유지하기 위해 중요도가 높은 영역에 집중하는 마스크된 손실을 사용해 네트워크를 훈련시킨다.
• 더 깊은 층에서 중요 영역에 더 많은 초점을 맞추는 점진적 주의 메커니즘을 도입하여 특징 표현을 향상시킨다.

실험 결과

연구 질문

• RQ1 이미지 슈퍼레졸루션에서 희소성을 활용하여 성능 손실 없이 계산 비용을 줄일 수 있는가?
• RQ2 학습 가능한 공간 및 채널 마스크가 기하학적 기반 마스크와 같은 히우리스틱 방법보다 불필요한 계산을 식별하는 데 더 나은 성능을 보일 수 있는가?
• RQ3 동적 프루닝을 통해 FLOPs를 얼마나 줄일 수 있으며, 슈퍼레졸루션에서 최신 기술 수준의 PSNR 성능를 유지할 수 있는가?
• RQ4 공간 마스크와 채널 마스크를 함께 사용할 경우 불필요한 계산의 세밀한 국소화는 어떻게 향상되는가?
• RQ5 기존의 경량 슈퍼레졸루션 네트워크에 비해 제안된 방법이 더 나은 효율-성능 트레이드오프를 달성할 수 있는가?

주요 결과

• SMSR는 ×2, ×3, ×4 슈퍼레졸루션에서 각각 41%, 33%, 27%의 FLOPs를 감소시키면서 최신 기술 수준의 PSNR 성능를 유지한다.
• ×2 슈퍼레졸루션의 Set14 데이터셋에서 SMSR는 CARN보다 38% 적은 파라미터와 41% 적은 FLOPs로 더 높은 PSNR를 달성한다.
• 비슷한 FLOPs(131.6G vs. 127.7G)를 기반으로 SMSR는 IDN보다 유의미하게 높은 PSNR를 기록하여 뛰어난 효율-성능 트레이드오프를 입증한다.
• 기하학적 기반 마스크를 사용한 변종은 학습 기반 마스크에 비해 뚜렷한 성능 저하(예: 33.52 대비 33.33/33.30 PSNR)를 보이며, 학습 기반 마스크의 우월성을 확인한다.
• Urban100 및 실세계 이미지에서의 시각적 비교 결과, SMSR는 기존 최신 기술 수준의 방법보다 더 적은 아티팩트와 더 나은 지각 품질을 제공한다.
• 모바일 장치에서의 빠른 속도 향상으로 실세계 엣지 배포에 대한 실용성을 입증한다.