[논문 리뷰] Attentive Fine-Grained Structured Sparsity for Image Restoration

Junghun Oh, Heewon Kim외 4명|arXiv (Cornell University)|2022. 04. 26.

Advanced Image Processing Techniques인용 수 5

한 줄 요약

이 논문은 효율적인 이미지 복원을 위한 새로운 프루닝 프레임워크인 SLS(Searching for Layer-wise N:M Structured Sparsity)를 제안한다. SLS는 각 레이어의 프루닝 비율을 동적으로 결정함으로써, 초해상도 및 블러 제거 작업에서 최신 기술 수준의 정확도-효율성 트레이드오프를 달성한다. 프루닝 단위당 학습 가능한 점수를 도입하고, 다양한 프루닝된 모델 간의 적응형 추론을 가능하게 함으로써, 여러 벤치마크에서 기존 방법들을 능가하는 성능을 보인다.

ABSTRACT

Image restoration tasks have witnessed great performance improvement in recent years by developing large deep models. Despite the outstanding performance, the heavy computation demanded by the deep models has restricted the application of image restoration. To lift the restriction, it is required to reduce the size of the networks while maintaining accuracy. Recently, N:M structured pruning has appeared as one of the effective and practical pruning approaches for making the model efficient with the accuracy constraint. However, it fails to account for different computational complexities and performance requirements for different layers of an image restoration network. To further optimize the trade-off between the efficiency and the restoration accuracy, we propose a novel pruning method that determines the pruning ratio for N:M structured sparsity at each layer. Extensive experimental results on super-resolution and deblurring tasks demonstrate the efficacy of our method which outperforms previous pruning methods significantly. PyTorch implementation for the proposed methods is available at https://github.com/JungHunOh/SLS_CVPR2022.

연구 동기 및 목표

• 이미지 복원 네트워크에서 동일한 프루닝 비율이 효율적이지 않다는 점, 즉 서로 다른 레이어들이 프루닝에 대해 서로 다른 민감도를 보임을 해결하기 위해.
• 각 레이어별 최적의 N:M 구조적 희박성 수준을 결정하는 방법을 개발하여 정확도-효율성 트레이드오프를 향상시키기 위해.
• 입력 복잡도에 따라 다양한 계산 예산을 가진 여러 프루닝된 모델을 조합함으로써, 탄력적인 추론을 가능하게 하기 위해.
• 기존의 N:M 프루닝 방법들이 레이어 간 동일한 희박성 비율을 가정하고 있으며, 유연성이 부족하다는 한계를 극복하기 위해.

제안 방법

• N:M 구조적 희박성을 희박한 텐서 분해로 공식화하여, 각 희박한 텐서가 가중치 크기를 기반으로 한 프루닝 단위에 대응하도록 한다.
• 각 프루닝 단위에 대해 학습 가능한 점수를 도입하여 중요도가 낮은 단위의 제거를 우선시함으로써, 미분 가능하고 효율적인 희박성 학습을 가능하게 한다.
• 각 레이어의 프루닝 비율을 최적화하여 레이어별 N:M 희박성 탐색을 수행하는 프레임워크를 구현하며, 이는 미분 가능한 프루닝 목적 함수를 사용한다.
• 입력 패치의 난이도를 보고 적합한 프루닝된 모델을 추론 시점에 선택하는 적응형 추론 메커니즘을 도입한다.
• 보조 네트워크를 통해 패치 수준의 MSE를 예측하여, 계산 비용과 복원 품질 간의 균형을 맞추는 데 도움을 준다.
• 초해상도(EDSR, CARN, RFDN) 및 블러 제거(DMPHN, SRN, 잔차 UNet) 모델에 적용되며, 공동 사전학습 및 프루닝 단계를 포함한다.

Figure 1 : Trade-off between image restoration performance (PSNR) vs computational costs (MACs) on super-resolution (top) and deblurring tasks (bottom). We compare our method to the magnitude-based filter pruning [ 28 ] and the existing methods on $N$ : $M$ sparsity (One-shot pruning [ 37 ] and SR-S

실험 결과

연구 질문

• RQ1 균일한 프루닝 비율에 비해, 레이어별 N:M 구조적 희박성은 이미지 복원에서 정확도-효율성 트레이드오프를 향상시킬 수 있는가?
• RQ2 다양한 계산 예산에서 여러 프루닝된 모델을 사용한 적응형 추론은 성능 향상에 어떻게 기여하는가?
• RQ3 각 레이어의 다른 프루닝 비율이 모델의 민감도와 복원 품질에 미치는 영향은 어떠한가?
• RQ4 미분 가능하고 크기 기반의 프루닝 단위 선택 전략은 N:M 희박성 학습을 효과적으로 이끌 수 있는가?
• RQ5 제안된 방법은 DIV2K, GOPRO, Urban100과 같은 다양한 이미지 복원 벤치마크에서 성능을 유지하거나 향상시킬 수 있는가?

주요 결과

• SLS는 초해상도 및 블러 제거 작업 모두에서 크기 기반 필터 프루닝 및 기존의 N:M 구조적 프루닝 방법(One-shot, SR-STE)을 능가한다.
• GOPRO 데이터셋에서 SLS는 블러 제거 작업에서 각각 28.48/27.49/25.82 PSNR를 기록하여 기준 모델 및 이전 방법들을 능가한다.
• Urban100에서 초해상도 작업을 수행할 경우, SLS는 오직 260.58K MACs로도 28.48 PSNR를 달성하여 높은 효율성을 입증한다.
• 적응형 추론은 입력 패치의 복잡도에 따라 동적으로 모델을 선택함으로써 계산 오버헤드를 줄이고, PSNR를 유지하거나 향상시킨다.
• 다양한 프루닝 비율로 사전 학습된 모델들은 런타임 예산 제어가 가능한 탄력적인 정확도-효율성 트레이드오프를 가능하게 한다.
• MSE 추정을 위한 보조 네트워크는 최소한의 오버헤드(HD 이미지 기준 3.45 GMACs)를 추가하며, 추론 시 효과적인 모델 경로 선택을 가능하게 한다.

(a)