[논문 리뷰] Learning with Privileged Information for Efficient Image Super-Resolution

Won-Kyung Lee, Junghyup Lee외 2명|arXiv (Cornell University)|2020. 07. 15.

Advanced Image Processing Techniques참고 문헌 14인용 수 5

한 줄 요약

이 논문은 FSRCNN과 같은 효율적인 초해상도 네트워크의 성능을 크게 향상시키기 위해 참조 고해상도(HR) 이미지를 특권 정보(privileged information)로 활용하는 새로운 지식 정련 프레임워크를 제안한다. 고해상도(HR) 이미지를 기반으로 복잡한 손실 과정을 학습하는 교사 네트워크를 훈련하고, 중간 특징을 학생 네트워크로 전달함으로써, 최소한의 계산 비용으로 최신 기술 수준의 성능을 달성하며, 다양한 벤치마크에서 최대 0.15 dB까지 PSNR를 향상시킨다.

ABSTRACT

Convolutional neural networks (CNNs) have allowed remarkable advances in single image super-resolution (SISR) over the last decade. Most SR methods based on CNNs have focused on achieving performance gains in terms of quality metrics, such as PSNR and SSIM, over classical approaches. They typically require a large amount of memory and computational units. FSRCNN, consisting of few numbers of convolutional layers, has shown promising results, while using an extremely small number of network parameters. We introduce in this paper a novel distillation framework, consisting of teacher and student networks, that allows to boost the performance of FSRCNN drastically. To this end, we propose to use ground-truth high-resolution (HR) images as privileged information. The encoder in the teacher learns the degradation process, subsampling of HR images, using an imitation loss. The student and the decoder in the teacher, having the same network architecture as FSRCNN, try to reconstruct HR images. Intermediate features in the decoder, affordable for the student to learn, are transferred to the student through feature distillation. Experimental results on standard benchmarks demonstrate the effectiveness and the generalization ability of our framework, which significantly boosts the performance of FSRCNN as well as other SR methods. Our code and model are available online: https://cvlab.yonsei.ac.kr/projects/PISR.

연구 동기 및 목표

• 딥 컨volution 네트워크 기반 초해상도 방법의 높은 계산 비용과 메모리 요구량 문제를 해결하기 위해.
• 모델 복잡도를 증가시키지 않고도 경량이며 하드웨어 우수성을 갖춘 네트워크(예: FSRCNN)의 성능을 향상시키기 위해.
• 훈련 중에 참조 고해상도(HR) 이미지를 특권 정보로 사용하는 것의 가능성을 탐색하기 위해, 이는 SISR 분야에서 새로운 접근 방식이다.
• 교사 네트워크에서 고주파 및 세밀한 디테일 지식을 학생 네트워크로 전달하는 정련 프레임워크를 개발하기 위해.
• 다양한 SISR 아키텍처(예: VDSR, IDN, CARN)에 대한 일반화 능력을 입증하기 위해.

제안 방법

• 교사-학생 정련 설정을 사용하며, 교사 네트워크는 저해상도(LR) 및 고해상도(HR) 이미지를 모두 사용하여 훈련되며, HR 이미지를 특권 정보로 활용한다.
• 교사의 인코더는 HR 이미지에서 LR 이미지 분포를 모방하기 위해 애니게이션 손실을 사용하여 HR에서 LR으로의 열화 과정을 모델링한다.
• 교사 네트워크의 디코더는 압축된 특징에서 HR 이미지를 재구성하며, 중간 특징 맵을 학생과 공유함으로써 특징 정련을 수행한다.
• 학생 네트워크는 교사의 디코더와 동일한 아키텍처를 가지며, 정련된 특징에서 학습하여 재구성 품질을 향상시킨다.
• 학생을 훈련된 디코더 가중치로 초기화함으로써 지식 전달 성능를 향상시키고, 수렴 속도를 빠르게 하며 더 나은 성능을 달성한다.
• 이 방법은 다양한 SISR 아키텍처(FSRCNN, VDSR, IDN, CARN 등)에 적용되어 광범위한 적용 가능성을 입증한다.

실험 결과

연구 질문

• RQ1 참조 고해상도(HR) 이미지를 효과적으로 특권 정보로 활용하여 SISR 성능을 향상시킬 수 있는가?
• RQ2 HR 이미지로 훈련된 교사 네트워크의 중간 특징을 정련하여 경량 학생 네트워크의 성능을 향상시킬 수 있는가?
• RQ3 기존의 지식 정련 및 기존 SISR 방법과 비교해 본다면, 이 프레임워크는 PSNR 및 효율성 측면에서 어떻게 성능을 내는가?
• RQ4 이 방법은 저복잡도를 고려해 설계된 다양한 SISR 아키텍처에서 얼마나 높은 성능 향상을 이룰 수 있는가?
• RQ5 이 프레임워크는 다양한 스케일 인자 및 벤치마크 데이터셋에 일반화되는가?

주요 결과

• 제안된 프레임워크는 2× 스케일에서 Set5에서 FSRCNN-L의 PSNR를 0.06 dB 향상시켜 37.65/31.92 PSNR/SSIM를 달성한다.
• 이 방법은 2× 스케일에서 Set5에서 VDSR의 PSNR를 0.14 dB 향상시켜 37.77/32.00 PSNR/SSIM를 달성한다.
• IDN은 2× 스케일에서 Set5에서 새로운 최고 기록인 37.93/32.14 PSNR/SSIM를 기록하며 기존 성능보다 0.10 dB 향상되었다.
• CARN은 2× 스케일에서 Set5에서 PSNR를 0.07 dB 향상시켜 37.82/32.08 PSNR/SSIM를 달성한다.
• Urban100에서 본 프레임워크의 학생 모델은 시각적 비교를 통해 기존 기준 대비 잡음과 왜곡을 줄이고 더 정밀한 질감 및 윤곽을 재구성하는 데 성공했다.
• 그림 4의 파라미터 대 연산량 대 PSNR 트레이드오프 플롯을 통해 모델 효율성과 성능 사이의 유리한 균형을 확보했다.