[논문 리뷰] Local-Selective Feature Distillation for Single Image Super-Resolution

Seonguk Park, Nojun Kwak|arXiv (Cornell University)|2021. 11. 22.

Advanced Image Processing Techniques참고 문헌 48인용 수 7

한 줄 요약

이 논문은 단일 이미지 초해상도(SISR)를 위한 새로운 지식 distillation 방법인 국소-선택적 특징 distillation(Least-Selective Feature Distillation, LSFD)을 제안한다. LSFD는 국소적 수신장과 교사-학생 예측 차이 기반의 주의 메커니즘을 도입하여 특징 distillation의 성능을 향상시킨다. 기존의 distillation 방법보다 성능이 향상되어 Urban100과 DIV2K와 같은 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하며, 특히 ×4 확대에서 최소한의 계산 부담으로 뛰어난 성능을 보인다.

ABSTRACT

Recent improvements in convolutional neural network (CNN)-based single image super-resolution (SISR) methods rely heavily on fabricating network architectures, rather than finding a suitable training algorithm other than simply minimizing the regression loss. Adapting knowledge distillation (KD) can open a way for bringing further improvement for SISR, and it is also beneficial in terms of model efficiency. KD is a model compression method that improves the performance of Deep Neural Networks (DNNs) without using additional parameters for testing. It is getting the limelight recently for its competence at providing a better capacity-performance tradeoff. In this paper, we propose a novel feature distillation (FD) method which is suitable for SISR. We show the limitations of the existing FitNet-based FD method that it suffers in the SISR task, and propose to modify the existing FD algorithm to focus on local feature information. In addition, we propose a teacher-student-difference-based soft feature attention method that selectively focuses on specific pixel locations to extract feature information. We call our method local-selective feature distillation (LSFD) and verify that our method outperforms conventional FD methods in SISR problems.

연구 동기 및 목표

• 기존 특징 distillation(FD) 방법이 공간적 맥락과 수신장 확장을 효과적으로 활용하지 못하는 데 기인한 한계를 해결하기 위해.
• 추론 시 파rameter를 늘리지 않고도 SISR에서 모델의 효율성과 성능을 향상시키기 위해 지식 distillation을 활용하기 위해.
• 교사-학생 예측 차이를 기반으로 고성능 영역에 집중하는 선택적 distillation 전략을 개발하기 위해.
• 국소적이고 주의 기반 특징 distillation이 기존 FD 접근 방식을 뛰어넘어 초해상도 품질을 크게 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 특징 매칭을 공간적으로 국소적인 이웃 영역으로 제한함으로써 distillation의 효과적 수신장을 확장하는 국소 특징 distillation(LFD)을 제안하며, 이는 공간적 일관성을 향상시킨다.
• 교사-학생 특징 차이의 크기를 기반으로 distillation 손실에 가중치를 부여하는 주의 메커니즘인 선택적 특징 distillation(SFD)을 도입하여 어려운 영역을 우선적으로 처리한다.
• LFD와 SFD를 결합하여 국소-선택적 특징 distillation(Least-Selective Feature Distillation, LSFD)을 구성하며, 이는 공간적으로 국소화되고 오차 크기에 따라 동적으로 가중되는 distillation을 특징으로 한다.
• 1×1 컨볼루션과 ReLU를 사용한 회귀 헤드를 통해 교사 및 학생 네트워크 간의 특징 맵을 정렬하고, L1 및 FFT 기반 손실을 통합하여 복원 성능를 향상시킨다.
• 기울기 기반 할당 맵(LAM)을 활용해 LSFD가 학생 네트워크의 수신장 내 특징 활용도를 향상시킨다는 것을 시각화하고 검증한다.
• 표준 SISR 학습 프로토콜에 따라 추가적인 distillation 손실을 포함한 경량 학생 네트워크(예: 작은 RCAN)에 LSFD를 적용한다.

실험 결과

연구 질문

• RQ1 왜 기존의 거리 기반 특징 distillation 방법은 단일 이미지 초해상도 작업에서 실패하는가?
• RQ2 특징 distillation에서 국소적 수신장 확장을 통해 SISR 성능과 모델 효율성이 향상될 수 있는가?
• RQ3 교사-학생 특징 차이를 기반으로 한 주의 메커니즘이 SISR에서 distillation의 효과성에 어떤 영향을 미치는가?
• RQ4 LSFD는 Urban100과 DIV2K와 같은 표준 벤치마크에서 기존 distillation 및 기본 SISR 모델보다 뛰어난 성능을 보일 수 있는가?
• RQ5 LSFD는 작은 학생 네트워크가 더 큰 교사 네트워크의 복원 품질을 뛰어넘을 수 있도록 할 수 있는가?

주요 결과

• LSFD는 ×4 확대에서 기준 distillation 방법보다 최대 0.15 dB의 PSNR 향상을 기록하며 Urban100 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• DIV2K 데이터셋에서 LSFD는 표준 FitNet 기반 distillation을 능가하며, 특히 인지적 품질 측면에서 더 큰 모델들과 경쟁 가능한 성능을 기록한다.
• LAM를 활용한 시각화 결과, LSFD는 학생 네트워크가 세밀한 질감과 윤곽을 복원하는 데 있어 수신장 활용도를 향상시킴을 확인할 수 있었다.
• 이러한 방법은 공간 맥락이 핵심적인 반디자이싱 작업에서 성능 향상이 뚜렷하게 나타나, 국소적 특징 distillation의 유용성을 확인한다.
• LSFD에 FFT 기반 손실을 통합함으로써 EDSR 기반 모델에서 성능 향상이 더욱 뚜렷하게 나타났으며, 주파수 도메인 감독과 LSFD 간의 상호보완적 상호작용을 입증한다.
• 다만, 장거리 의존성이 높은 데이터셋에서는 LSFD가 한계를 보이며, 향후 비국소 주의 메커니즘과의 통합 가능성이 제안된다.