[논문 리뷰] Fully $1 imes1$ Convolutional Network for Lightweight Image Super-Resolution

Gang Wu, Junjun Jiang외 2명|arXiv (Cornell University)|2023. 07. 30.

Advanced Image Processing TechniquesComputer Science인용 수 3

한 줄 요약

이 논문은 표준 1×1 컨볼루션의 국한된 특징 집합 문제를 극복하기 위해 공간 이동(spatial-shift) 연산을 사용하는 파라미터가 없는 방법을 도입한 경량 이미지 초해상도를 위한 완전한 1×1 컨볼루션 네트워크인 SCNet을 제안한다. 단지 1×1 컨볼루션만을 사용하고도 상태의 기준(SOTA) 성능을 달성하며, 파라미터와 FLOPs가 크게 줄어들어 기존의 경량 모델보다 벤치마크 데이터셋에서 뛰어난 성능을 보였다.

ABSTRACT

Deep models have achieved significant process on single image super-resolution (SISR) tasks, in particular large models with large kernel ($3 imes3$ or more). However, the heavy computational footprint of such models prevents their deployment in real-time, resource-constrained environments. Conversely, $1 imes1$ convolutions bring substantial computational efficiency, but struggle with aggregating local spatial representations, an essential capability to SISR models. In response to this dichotomy, we propose to harmonize the merits of both $3 imes3$ and $1 imes1$ kernels, and exploit a great potential for lightweight SISR tasks. Specifically, we propose a simple yet effective fully $1 imes1$ convolutional network, named Shift-Conv-based Network (SCNet). By incorporating a parameter-free spatial-shift operation, it equips the fully $1 imes1$ convolutional network with powerful representation capability while impressive computational efficiency. Extensive experiments demonstrate that SCNets, despite its fully $1 imes1$ convolutional structure, consistently matches or even surpasses the performance of existing lightweight SR models that employ regular convolutions. The code and pre-trained models can be found at https://github.com/Aitical/SCNet.

연구 동기 및 목표

• 자원 제약이 있는 장치에 딥러닝 기반 초해상도 모델을 구현하는 데 도전하기 위해 모델 복잡도를 줄이는 것.
• 1×1 컨볼루션의 본질적 한계인 국소적 공간적 특징 집합의 부재를 극복하면서도 그들의 계산 효율성을 유지하는 것.
• 최소한의 파라미터와 FLOPs로도 높은 성능을 유지하는 경량이면서도 강력한 SISR 아키텍처를 설계하는 것.
• 3×3와 같은 더 큰 커널에 의존하지 않고도 완전한 1×1 컨볼루션 네트워크를 SISR에 적용할 수 있는지 탐색하는 것.
• 주의 메커니즘과 업스케일링 모듈과 통합이 가능한 확장 가능하고 파라미터 효율적인 백본을 제공하는 것.

제안 방법

• 스페이셜 이동(spatial-shift) 연산을 통해 1×1 컨볼루션을 확장하는 비파rametric인 Shift-Conv (SC) 레이어를 도입하여 공간 이웃 간의 국소적 특징 집합을 가능하게 한다.
• 입력 특징 맵을 채널 그룹으로 나누고 다중 방향의 공간 이동을 적용하여 파라미터나 FLOPs를 증가시키지 않으면서도 효과적이고 확장된 수신장(receptive field)을 확보한다.
• SC 레이어를 기본 구성 요소로 사용하는 잔차 블록인 SC-ResBlock을 구성하여 계산 비용을 최소화하면서도 깊은 스태킹이 가능하도록 한다.
• 여러 개의 SC-ResBlock으로 구성된 완전한 1×1 컨볼루션 네트워크인 SCNet을 제안하며, SCNet-T(티니), SCNet-B(베이스), SCNet-L(라지)의 세 가지 변형을 제공하여 깊이와 너비에서 확장 가능하다.
• 업스케일링 전략(예: pixelshuffle, bilinear, nearest)을 다양한 방식으로 평가하는 간소화된 재구성 모듈을 사용하여 SCNet 프레임워크 내에서 1×1 컨볼루션만을 활용한다.
• 주의 메커니즘(채널, 공간, 픽셀)과의 통합을 지원하여 모델 복잡도를 과도하게 증가시키지 않으면서도 성능 향상을 이룬다.

실험 결과

연구 질문

• RQ1 3×3와 같은 더 큰 커널을 사용하지 않고도 완전한 1×1 컨볼루션 네트워크가 이미지 초해상도에서 경쟁적인 성능을 낼 수 있는가?
• RQ2 파라미터가 없는 공간 이동 연산이 1×1 컨볼루션에서 상실된 국소적 특징 집합 능력을 효과적으로 복원할 수 있는가?
• RQ3 제안된 SCNet이 기존의 경량 SISR 모델 대비 모델 효율성과 성능 간의 더 나은 트레이드오���을 달성하는가?
• RQ4 SCNet 아키텍처는 다양한 업스케일링 모듈과 주의 메커니즘에 대해 얼마나 잘 일반화되는가?
• RQ5 SC 레이어를 사용하여 최소한의 FLOPs와 파라미터로도 높은 성능을 유지하는 확장 가능한 경량 아키텍처를 구축할 수 있는가?

주요 결과

• SCNet-T는 Manga109 ×4 데이터셋에서 28.75 dB의 PSNR를 기록하여 100K 파라미터 미만의 다른 경량 모델보다 뛰어난 성능을 보였다.
• pixelshuffle 업스케일링 모듈을 사용한 SCNet은 Urban100과 Manga109에서 각각 0.10 dB와 0.11 dB의 향상된 성능을 기록하여 두 번째로 좋은 방법보다 뛰어났다.
• 공간 주의 메커니즘의 통합은 성능 향상을 이끌었으며, 파라미터 수가 적고 효과가 높아 채널 주의 메커니즘보다 더 좋은 결과를 냈다.
• SCNet은 스케일링 요소가 8인 경우에도 강력한 성능을 유지하여 고수요 초해상도 작업에서의 강건성을 입증했다.
• 기존의 경량 모델 대비 FLOPs와 파라미터를 줄이며 벤치마크 데이터셋에서 최상의 성능을 달성했다.
• 광범위한 추론 분석 실험을 통해 공간 이동 연산이 추가적인 계산 비용 없이도 수신장을 효과적으로 확장하고 표현 능력을 향상시킨다는 것이 확인되었다.