[논문 리뷰] Towards Compact Single Image Super-Resolution via Contrastive Self-distillation

Yanbo Wang, Shaohui Lin외 5명|arXiv (Cornell University)|2021. 05. 25.

Advanced Image Processing Techniques참고 문헌 32인용 수 5

한 줄 요약

이 논문은 단일 이미지 초해상도(SISR) 모델을 동시에 압축하고 가속화하기 위해 대비적 자기정렬(CSD) 프레임워크를 제안한다. 교사 네트워크에서 채널 분할 학생 네트워크(CSSR-Net)를 구성하고, 명시적 지식 전달을 위한 새로운 대비 손실을 적용함으로써 CSD는 EDSR에서 최대 4배의 모델 압축과 1.77배의 추론 속도 향상을 달성하며, 단지 0.13 dB의 PSNR 감소와 ×4 해상도에서 0.0039의 SSIM 손실을 기록한다.

ABSTRACT

Convolutional neural networks (CNNs) are highly successful for super-resolution (SR) but often require sophisticated architectures with heavy memory cost and computational overhead, significantly restricts their practical deployments on resource-limited devices. In this paper, we proposed a novel contrastive self-distillation (CSD) framework to simultaneously compress and accelerate various off-the-shelf SR models. In particular, a channel-splitting super-resolution network can first be constructed from a target teacher network as a compact student network. Then, we propose a novel contrastive loss to improve the quality of SR images and PSNR/SSIM via explicit knowledge transfer. Extensive experiments demonstrate that the proposed CSD scheme effectively compresses and accelerates several standard SR models such as EDSR, RCAN and CARN. Code is available at https://github.com/Booooooooooo/CSD.

연구 동기 및 목표

• 딥 컨volution 네트워크 기반 SISR 모델의 높은 계산 및 메모리 비용으로 인해 자원이 제한된 장치에의 배포가 제한되는 문제를 해결하기 위해.
• 기본적인 정규화에서의 암묵적 지식 전달의 한계를 극복하여, 압축된 학생 네트워크에서 최적의 성능을 달성하기 위해.
• 양의 샘플과 음의 샘플을 사용한 대비 학습을 통해 명시적으로 지식을 전달하여, 압축된 SISR 모델의 품질을 향상시키기 위해.
• 다양한 기존 SISR 아키텍처에 적용 가능한 일반적이고 런타임 친화적인 압축 및 가속 방법을 개발하기 위해.

제안 방법

• 사전 학습된 교사 네트워크에서 일부 채널을 추출하여 채널 분할 초해상도 네트워크(CSSR-Net)를 구성함으로써 직접적인 모델 압축을 가능하게 한다.
• 암묵적 지식 전달을 위해 학생(CSSR-Net)과 교사 네트워크를 복합적으로 훈련하기 위해 복구 손실을 사용한다.
• VGG 특징 공간에서 L1-거리 기반의 대비 손실을 도입하여 지식을 명시적으로 전달한다: 학생의 출력을 교사의 출력에 가깝게 만들고, 음의 샘플(예: 흐릿한 이미지)에서 멀어지게 한다.
• 실제 고해상도(HR) 이미지를 양의 샘플로, 합성된 흐릿한 이미지를 음의 샘플로 사용하여 대비 목표를 정의함으로써 최적화 공간을 제약한다.
• 성능 붕괴를 방지하고 교사 품질을 유지하기 위해 교사의 기울기를 대비 손실에서 분리하는 동적 업데이트 전략을 적용한다.
• 성능과 계산 비용의 균형을 고려하여 음의 샘플 수를 최적화(10개로 설정)한다.

실험 결과

연구 질문

• RQ1 대비적 자기정렬이 암묵적 정규화를 초월하여 압축된 SISR 모델의 성능을 효과적으로 향상시킬 수 있는가?
• RQ2 대비 학습에서 음의 샘플의 사용이 압축된 SISR 네트워크에서 재구성된 이미지의 품질과 선명도에 어떤 영향을 미치는가?
• RQ3 자기정렬을 사용한 SISR에서 모델 압축, 추론 속도, 이미지 품질 사이의 최적의 트레이드오프는 무엇인가?
• RQ4 제안된 CSD 프레임워크는 EDSR, RCAN, CARN과 같은 다양한 SISR 아키텍처에 일반화되는가?
• RQ5 대비 손실 공식(예: L1 기반 vs. InfoNCE)의 선택이 최종 PSNR 및 SSIM 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 CSD 프레임워크는 EDSR에서 최대 4배의 모델 압축률과 1.77배의 속도 향상을 달성하며, ×4 초해상도에서 Urban100에서 0.13 dB의 PSNR 감소와 0.0039의 SSIM 손실을 기록한다.
• DIV2K 데이터셋에서 CSD 기반 EDSR+는 29.13 dB의 PSNR와 0.8416의 SSIM을 달성하여 InfoNCE 기반 CSD(29.10 dB, 0.8402 SSIM)와 인지적 손실을 사용한 J-T보다 우수한 성능을 보였다.
• 대비 손실에서 L1-거리 사용이 InfoNCE 손실보다 더 우수한 결과를 낳으며, DIV2K와 Urban100에서 각각 0.0014와 0.0041의 SSIM 향상을 기록했다.
• 자기정렬을 사용한 CSSR-Net은 양의 샘플로 실존하는 고해상도 이미지만을 사용한 베이스라인보다 우수한 성능을 보이며, 교사 네트워크의 지식이 성능 향상에 기여함을 시사한다.
• 교사의 기울기를 분리하는 CSD 업데이트 전략은 양쪽 네트워크를 함께 업데이트하거나 복구 손실를 제거하는 전략보다 성능 향상이著명하다.
• 음의 샘플 수를 늘일수록 성능 향상이 이루어지지만, 이는 메모리 및 훈련 비용 증가를 수반한다; 최적의 성능-효율성 균형을 위해 10개의 음의 샘플이 최적으로 확인되었다.