[논문 리뷰] Efficient Deep Neural Network for Photo-realistic Image Super-Resolution

Namhyuk Ahn, Byungkon Kang외 1명|arXiv (Cornell University)|2019. 03. 06.

Advanced Image Processing Techniques인용 수 4

한 줄 요약

이 논문은 연속 잔차 연결, 군집 컨볼루션, 그리고 재귀적 특징 융합을 조합하여 낮은 계산 비용으로 고실사적 품질을 달성하는 경량 딥 뉴럴 네트워크인 PCARN을 제안한다. 이 모델은 특히 CPU에서 뛰어난 성능을 보이며, LPIPS와 NIMA로 측정된 시각적 품질과 MultAdds로 측정된 효율성 측면에서 최신 기법들을 능가한다. 또한 PSNR와 SSIM 점수에서도 경쟁력 있는 성능을 유지한다.

ABSTRACT

Recent progress in deep learning-based models has improved photo-realistic (or perceptual) single-image super-resolution significantly. However, despite their powerful performance, many methods are difficult to apply to real-world applications because of the heavy computational requirements. To facilitate the use of a deep model under such demands, we focus on keeping the network efficient while maintaining its performance. In detail, we design an architecture that implements a cascading mechanism on a residual network to boost the performance with limited resources via multi-level feature fusion. In addition, our proposed model adopts group convolution and recursive schemes in order to achieve extreme efficiency. We further improve the perceptual quality of the output by employing the adversarial learning paradigm and a multi-scale discriminator approach. The performance of our method is investigated through extensive internal experiments and benchmarks using various datasets. Our results show that our models outperform the recent methods with similar complexity, for both traditional pixel-based and perception-based tasks.

연구 동기 및 목표

• 딥 러닝 기반 이미지 초해상도에서 높은 시각적 품질과 계산 효율성 사이의 격차를 해소한다.
• 모바일 배포 및 저지연 스트리밍과 같은 실제 환경 제약 조건에서도 강력한 성능을 유지하는 경량 네트워크를 설계한다.
• 깊거나 넓은 아키텍처로 인해 추론 속도가 느려지는 기존의 경량 모델의 한계를 극복한다.
• 적대적 훈련과 다중 해상도 판별자로 픽셀 기반 지표를 넘어서는 시각적 품질을 향상시킨다.
• 높은 품질의 출력을 유지하면서도 다중 곱셈-덧셈 연산 수(MultAdds)를 최소화하여 실용적인 효율성을 확보한다.

제안 방법

• 다중 레이어에서 국소적 및 전반적 수준의 특징을 융합하는 연속 잔차 네트워크(PCARN)를 제안하여 특징 표현을 향상시킨다.
• 군집 컨볼루션과 재귀적 구조를 통합하여 모델 파라미터 수와 계산 복잡도를 감소시킨다.
• 고주파 세부 정보를 캡처하기 위해 GAN 프레임워크 내 다중 해상도 판별자를 도입하여 시각적 품질을 향상시킨다.
• 특징을 점진적으로 처리하는 연속형 생성자 아키텍처를 적용하여 더 깊은 특징 학습을 가능하게 하면서도 파라미터 수를 줄인다.
• 사람의 시각적 인식과 일치하는 이미지를 생성하기 위해 시각적 손실과 적대적 손실을 적용한다.
• 실제 배포 제약 조건을 반영하기 위해 MultAdds를 최소화하고 CPU 및 GPU에서의 평가를 통해 추론 속도를 최적화한다.

실험 결과

연구 질문

• RQ1 경량 딥 러닝 모델이 계산 효율성을 희생시키지 않고도 단일 이미지 초해상도에서 최신 수준의 시각적 품질을 달성할 수 있는가?
• RQ2 다중 레이어에 걸친 연속적 특징 융합이 낮은 파라미터 수와 추론 비용을 유지하면서 성능을 어떻게 향상시키는가?
• RQ3 군집 컨볼루션과 재귀 모듈의 사용이 이미지 품질에 손상을 주지 않으면서 계산 복잡도를 얼마나 줄이는가?
• RQ4 다중 해상도 판별자는 표준 GAN에 비해 시각적 현실감을 어떻게 향상시키는가?
• RQ5 CPU에서의 추론 속도 향상이 GPU에서는 어떻게 번역되지 않으며, 이는 실시간 시스템의 모델 배포에 어떤 영향을 미치는가?

주요 결과

• PCARN은 비교 모델들보다 낮은 LPIPS 점수와 높은 NIMA 점수를 기록하여 인간 판단과의 높은 일치도를 보이며 뛰어난 시각적 품질을 달성한다.
• LPIPS와 NIMA 측정 기준에서 최근의 ESRGAN, G-MGBP, EPSR 등과 비교해도 뛰어난 시각적 품질을 확보하면서도 MultAdds가 현저히 적다.
• CPU에서 PCARN-M은 ESRGAN 및 EPSR과 같은 더 무거운 모델들보다도 빠른 추론 속도를 보이며, 모든 평가 대상 모델 중에서 가장 빠른 성능을 보였다.
• 낮은 MultAdds에도 불구하고, PCARN은 예상보다 GPU에서 추론 속도가 느리며, 이는 연속 연결로 인한 병렬성 감소와 비최적화된 군집 컨볼루션 때문이었다.
• Set14 ×4에서의 시각적-왜곡 균형도 그래프를 통해 PCARN은 시각적 품질과 왜곡 지표 사이에 유리한 트레이드오프를 달성하고 있음을 확인할 수 있었다.
• 밀도 높거나 미세한 무늬를 재구성하는 데 실패하는 경우가 있으며, 이는 심각하게 손상되거나 복잡한 구조를 처리하는 데서의 한계를 시사한다.