[논문 리뷰] Spatially-Adaptive Feature Modulation for Efficient Image Super-Resolution

Long Sun, Jiangxin Dong외 2명|arXiv (Cornell University)|2023. 02. 27.

Advanced Image Processing Techniques인용 수 13

한 줄 요약

SAFMN은 공간적으로 적응적인 특징 모듈레이션과 컨볼루션 채널 믹서를 갖춘 경량 ViT 유사 블록을 도입하여 파라미터 수와 메모리를 크게 감소시키면서 경쟁력 있는 SR 성능을 달성하고, 효율성 측면에서 다수의 경량 SR 방법을 능가한다.

ABSTRACT

Although numerous solutions have been proposed for image super-resolution, they are usually incompatible with low-power devices with many computational and memory constraints. In this paper, we address this problem by proposing a simple yet effective deep network to solve image super-resolution efficiently. In detail, we develop a spatially-adaptive feature modulation (SAFM) mechanism upon a vision transformer (ViT)-like block. Within it, we first apply the SAFM block over input features to dynamically select representative feature representations. As the SAFM block processes the input features from a long-range perspective, we further introduce a convolutional channel mixer (CCM) to simultaneously extract local contextual information and perform channel mixing. Extensive experimental results show that the proposed method is $3 imes$ smaller than state-of-the-art efficient SR methods, e.g., IMDN, in terms of the network parameters and requires less computational cost while achieving comparable performance. The code is available at https://github.com/sunny2109/SAFMN.

연구 동기 및 목표

• 저전력 디바이스에서 계산 및 메모리가 제한된 상황에 대한 효율적인 SR 동기 부여.
• SR를 위해 장거리 특징 상호작용을 활용하는 경량 네트워크를 개발한다.
• 글로벌 적응성과 로컬 맥락을 융합하기 위해 SAFM과 CCM 구성 요소를 도입한다.
• 최신의 경량 SR 모델에 비해 정확도–효율성 트레이드오프가 우수함을 입증한다.

제안 방법

• 다중 스케일 공간적으로 적응된 특징 모듈화(SAFM) 블록을 통해 장거리 특징 상호작용을 가능케 하는 ViT 유사 아키텍처를 사용한다.
• 로컬 맥락 인코딩과 채널 혼합을 효율적으로 수행하는 컨볼루션 채널 믹서(CCM)를 도입한다.
• SAFM과 CCM을 LayerNorm 기반 처리와 결합하는 피처 믹싱 모듈(FMM)을 쌓는다.
• 고주파 재구성을 향상시키기 위해 L1 손실과 FFT 기반 주파수 손실의 조합으로 학습한다.
• 경량 업샘플러와 글로벌 잔차 연결을 활용해 HR 이미지를 재구성한다.
• 적응 맥스 풀링을 이용한 피처 피라미드를 통해 SAFM용 다중 스케일 피처를 생성한다.

실험 결과

연구 질문

• RQ1 가벼운 SAFM 기반 모듈이 더 무거운 모델과 비슷한 SR 성능을 달성할 수 있는가?
• RQ2 SAFM과 소형 CCM을 결합하면 정확도와 효율성의 균형이 효과적으로 달성되는가?
• RQ3 다중 스케일 표현과 정규화 선택이 SR 성능과 안정성에 어떤 영향을 미치는가?
• RQ4 SAFMN은 매개변수 수, FLOPs, 메모리 사용량 측면에서 최첨단의 효율적 SR 모델과 어떻게 비교되는가?

주요 결과

• SAFMN은 최첨단의 효율적 SR 방법에 비해 파라미터 수와 메모리 사용량이 크게 줄어들면서 경쟁력 있는 SR 성능을 달성한다.
• x4 SR에서 SAFMN은 CARN보다 약 85% 적은 파라미터, IMDN보다 66% 적고 ShuffleMixer보다 42% 적은 파라미터를 사용하며 각각 60%, 29%, 71% 더 적은 활성화를 보인다.
• 다중 스케일 SAFM 표현은 장거리 특징 상호작용을 더 낮은 메모리로 가능하게 하여 재구성을 개선한다.
• CCM은 로컬 맥락 인코딩과 채널 혼합을 효과적으로 수행하며, 인버티드 잔차 블록과 같은 대안에 비해 메모리 오버헤드가 낮다.
• LayerNorm은 안정적인 학습과 BN 계열 및 다른 정규화보다 더 나은 성능에 필수적이다.
• 망각 비교에서 SAFM 및 CCM 구성 요소가 베이스라인 대비 성능 향상에 누적적으로 기여하는 것으로 확인되었다.