[논문 리뷰] Learning for Scale-Arbitrary Super-Resolution from Scale-Specific Networks

Longguang Wang, Yingqian Wang외 4명|arXiv (Cornell University)|2020. 04. 08.

Advanced Image Processing Techniques인용 수 6

한 줄 요약

이 논문은 스케일에 특화된 기존 초해상도 네트워크가 스케일 임의의 초해상도를 수행할 수 있도록 해주는 플러그인 모듈을 제안한다. 이는 스케일 인식 특징 적응과 스케일 인식 업샘플링 레이어, 그리고 지식 전이 파라다임을 사용하며, 정수 스케일에서 최고 성능을 달성하면서도 최소한의 계산 부담으로 비정수 및 비대칭 스케일에서도 정확한 초해상도를 가능하게 한다.

ABSTRACT

Recently, the performance of single image super-resolution (SR) has been significantly improved with powerful networks. However, these networks are developed for image SR with a single specific integer scale (e.g., x2;x3,x4), and cannot be used for non-integer and asymmetric SR. In this paper, we propose to learn a scale-arbitrary image SR network from scale-specific networks. Specifically, we propose a plug-in module for existing SR networks to perform scale-arbitrary SR, which consists of multiple scale-aware feature adaption blocks and a scale-aware upsampling layer. Moreover, we introduce a scale-aware knowledge transfer paradigm to transfer knowledge from scale-specific networks to the scale-arbitrary network. Our plug-in module can be easily adapted to existing networks to achieve scale-arbitrary SR. These networks plugged with our module can achieve promising results for non-integer and asymmetric SR while maintaining state-of-the-art performance for SR with integer scale factors. Besides, the additional computational and memory cost of our module is very small.

연구 동기 및 목표

• 기존 초해상도 네트워크가 특정 정수 스케일 요인(예: x2, x3, x4)에 대해서만 훈련된 점을 해결한다.
• 기존 연구에서 간과되기 쉬운 비정수 및 비대칭 스케일 요인에 대해 고성능 이미지 초해상도를 가능하게 한다.
• 기존 SR 네트워크를 다시 훈련하지 않고도 원활하게 통합될 수 있는 방법을 개발한다.
• 다양한 스케일 요인에서 성능을 유지하거나 향상시키면서도 추가 계산 및 메모리 비용을 최소화한다.

제안 방법

• 목표 스케일에 따라 특징 표현을 조정하는 다중 스케일 인식 특징 적응 블록으로 구성된 플러그인 모듈을 도입한다.
• 원하는 스케일 요인에 따라 업샘플링 과정을 동적으로 조정하는 스케일 인식 업샘플링 레이어를 설계한다.
• 미리 훈련된 스케일에 특화된 네트워크에서 단일 스케일 임의 네트워크로 지식을 전이하는 스케일 인식 지식 전이 파라다임을 제안한다.
• 스케일에 특화된 모델의 출력이 통합 네트워크의 훈련을 이끄는 지식 증류를 사용해 스케일 임의 네트워크를 훈련시킨다.
• 모듈을 모듈식으로 만들고 네트워크 본딩에 쉽게 삽입할 수 있도록 기존 SR 아키텍처와의 호환성을 확보한다.
• 다양한 스케일 요인에서 학습을 안정화시키기 위해 훈련 중 다중 스케일 감시 전략을 사용한다.

실험 결과

연구 질문

• RQ1 단일 통합 네트워크를 훈련시켜 정수 스케일 외에도 비정수 및 비대칭 스케일을 포함한 임의의 스케일 요인에서 초해상도를 수행할 수 있는가, 동시에 표준 정수 스케일에서의 성능도 유지할 수 있는가?
• RQ2 여러 개의 미리 훈련된 스케일에 특화된 네트워크에서의 지식을 단일 스케일 임의 네트워크로 효과적으로 전이할 수 있는가?
• RQ3 플러그인 모듈을 사용해 스케일 임의의 초해상도를 구현하기 위해 필요한 최소한의 추가 계산 및 메모리 비용은 얼마인가?
• RQ4 기본 네트워크를 다시 훈련하지 않고도 제안된 방법이 다양한 스케일 요인에서 일반화 가능한가?

주요 결과

• 제안된 플러그인 모듈은 기존 스케일에 특화된 초해상도 네트워크가 재훈련 없이도 비정수 및 비대칭 스케일 요인으로 일반화될 수 있도록 한다.
• 이 방법은 표준 정수 스케일 요인(예: x2, x3, x4)에서 최고 성능을 달성하면서도 임의의 스케일로 기능을 확장한다.
• 모듈이 유도하는 추가 계산 및 메모리 비용은 매우 미미하여 실세계 구현에 실용적이다.
• 스케일 인식 지식 전이 파라다임은 스케일에 특화된 모델에서의 지식을 효과적으로 전이시켜 통합 네트워크가 해당 스케일에서 성능을 따라하거나 초월할 수 있도록 한다.
• 플러그인 모듈은 x1.5나 x2.5와 같은 도전적인 비정수 스케일을 포함한 다양한 스케일 요인에서 높은 이미지 품질을 유지한다.
• 이 방법은 강력한 일반화 능력을 보이며, 여러 벤치마크 데이터셋과 스케일 구성에서 일관된 성능 향상을 보인다.