[논문 리뷰] GhostSR: Learning Ghost Features for Efficient Image Super-Resolution

Ying Nie, Kai Han외 3명|arXiv (Cornell University)|2021. 01. 21.

Advanced Image Processing Techniques참고 문헌 53인용 수 21

한 줄 요약

GhostSR는 중복된 컨볼루션 필터를 학습 가능한 시프트 연산으로 대체하여 '기프트 페처'를 생성하는 경량 이미지 슈퍼레졸루션 방법을 제안한다. 이로 인해 모델 복잡도가 크게 감소한다. 사전 훈련된 특징을 군집화하여 내재된 필터를 식별하고, 미분 가능한 시프트 연산을 적용함으로써 GhostSR는 기준 EDSR 대비 최대 46% 적은 파라미터, 46% 적은 FLOPs, 42% 낮은 GPU 지연 시간을 달성하며, 벤치마크 데이터셋에서 거의 손실 없는 성능을 보인다.

ABSTRACT

Modern single image super-resolution (SISR) system based on convolutional neural networks (CNNs) achieves fancy performance while requires huge computational costs. The problem on feature redundancy is well studied in visual recognition task, but rarely discussed in SISR. Based on the observation that many features in SISR models are also similar to each other, we propose to use shift operation to generate the redundant features (i.e., ghost features). Compared with depth-wise convolution which is time-consuming on GPU-like devices, shift operation can bring a practical inference acceleration for CNNs on common hardwares. We analyze the benefits of shift operation on SISR task and make the shift orientation learnable based on Gumbel-Softmax trick. Besides, a clustering procedure is explored based on pre-trained models to identify the intrinsic filters for generating intrinsic features. The ghost features will be derived by moving these intrinsic features along a specific orientation. Finally, the complete output features are constructed by concatenating the intrinsic and ghost features together. Extensive experiments on several benchmark models and datasets demonstrate that both the non-compact and lightweight SISR models embedded with the proposed method can achieve a comparable performance to that of their baselines with a large reduction of parameters, FLOPs and GPU inference latency. For instance, we reduce the parameters by 46%, FLOPs by 46% and GPU inference latency by 42% of $ imes2$ EDSR network with basically lossless performance.

연구 동기 및 목표

• 현대 SISR 모델의 높은 계산 비용이 중복된 특징으로 인해 발생하는 문제를 해결하기 위해.
• 분류 작업에서의 응용과 유사하게 초상수학 네트워크 내 특징의 중복성을 탐구하기 위해.
• 실제 GPU 및 NPU에서의 추론 속도 향상을 위해 더 효율적이고 하드웨어 우수한 연산으로 고비용의 디프스와이즈 컨볼루션을 대체하기 위해.
• 더 나은 특징 표현을 위해 방향을 적응적으로 조절할 수 있는 학습 가능한, 미분 가능한 시프트 메커니즘을 개발하기 위해.
• 사전 훈련된 모델의 군집화를 통합하여 효율적인 기프트 페처 생성을 위한 내재된 필터를 식별하기 위해.

제안 방법

• 기본 페처를 생성하는 데 사용되는 깊이 지능형 컨볼루션의 비용이 많이 드는 대안으로 학습 가능한 시프트 연산을 도입하여 기프트 페처를 생성한다.
• 시프트 방향을 미분 가능하고 훈련 가능한 것으로 만들기 위해 Gumbel-Softmax 기법을 사용한다.
• 기본 페처를 생성하는 데 사용되는 내재된 필터를 식별하기 위해 사전 훈련된 모델에 군집화 절차를 적용한다.
• 기본 페처와 기프트 페처를 연결하여 최종 페처를 구성하며, 기프트 페처는 기본 페처에 대해 학습 가능한 시프트 연산을 적용하여 생성된다.
• 기본 필터와 시프트 연산을 동시에 학습할 수 있는 미분 가능한 아키텍처를 사용해 종합적으로 모델을 훈련한다.
• 모델 효율성과 성능의 균형을 맞추기 위해 기프트 페처 비율(λ)을 최적화한다.

실험 결과

연구 질문

• RQ1 GPU에서 실질적인 속도 향상을 이룰 수 있도록, SISR 모델에서 깊이 지능형 컨볼루션을 효과적으로 대체할 수 있는 시프트 연산이 중복된 페처 생성에 적합한가?
• RQ2 Gumbel-Softmax를 통해 시프트 방향을 학습하면 고정 또는 복사 기반 방법에 비해 특징 표현이 향상되는가?
• RQ3 사전 훈련된 모델의 군집화가 기프트 페처 생성에 필수적인 특징을 유지하는 내재된 필터를 신뢰성 있게 식별할 수 있는가?
• RQ4 SISR에서 모델 효율성과 성능의 균형을 맞추기 위해 최적의 기프트 페처 비율(λ)은 무엇인가?
• RQ5 GhostSR는 파라미터, FLOPs, 추론 지연 시간을 얼마나 줄일 수 있으며, 경쟁적인 PSNR/SSIM 점수를 유지할 수 있는가?

주요 결과

• ×2 EDSR 모델에서 GhostSR는 파라미터를 46% 감소시키고, FLOPs를 46% 감소시키며, GPU 추론 지연 시간을 42% 감소시키며 성능 저하가 거의 없이 구현된다.
• 비주얼라이제이션을 통해 텍스처와 에지 유지 측면에서 단순 복사 연산에 비해 학습 가능한 시프트 연산이 특징 품질을 향상시킨다.
• 사전 훈련된 모델의 군집화를 사용하면, 초기 훈련 대비 Urban100에서 PSNR가 0.13 dB 향상된다.
• 최적의 기프트 페처 비율(λ = 0.25)은 모든 데이터셋에서 0.04–0.08 dB의 PSNR 향상을 가져오며, 모델 크기와 지연 시간을 줄인다.
• 기본 모델 대비 Set5에서 1.33M 파라미터와 96G FLOPs로 0.04 dB의 PSNR 향상을 달성했으며, 원본 CARN 모델의 1.59M 및 119G 대비 성능 향상을 이룬다.
• 모델은 높은 인지적 품질을 유지하며, 모든 데이터셋에서 기준 모델과 SSIM 값의 차이가 0.0006 이내로 유지된다.