[논문 리뷰] Fast and Accurate Single Image Super-Resolution via Information Distillation Network

Hui Zheng, Wang Xiu외 1명|arXiv (Cornell University)|2018. 03. 26.

Advanced Image Processing Techniques참고 문헌 23인용 수 59

한 줄 요약

논문은 빠르고 정확한 단일 이미지 초해상화를 위해 정보 증류 블록이 있는 경량 CNN IDN을 소개하며, 계산 시간을 크게 줄이면서 PSNR/SSIM/IFC 경쟁력 있게 달성한다.

ABSTRACT

Recently, deep convolutional neural networks (CNNs) have been demonstrated remarkable progress on single image super-resolution. However, as the depth and width of the networks increase, CNN-based super-resolution methods have been faced with the challenges of computational complexity and memory consumption in practice. In order to solve the above questions, we propose a deep but compact convolutional network to directly reconstruct the high resolution image from the original low resolution image. In general, the proposed model consists of three parts, which are feature extraction block, stacked information distillation blocks and reconstruction block respectively. By combining an enhancement unit with a compression unit into a distillation block, the local long and short-path features can be effectively extracted. Specifically, the proposed enhancement unit mixes together two different types of features and the compression unit distills more useful information for the sequential blocks. In addition, the proposed network has the advantage of fast execution due to the comparatively few numbers of filters per layer and the use of group convolution. Experimental results demonstrate that the proposed method is superior to the state-of-the-art methods, especially in terms of time performance.

연구 동기 및 목표

• SISR에서 재구성 품질을 보존하면서 계산 비용과 메모리 사용을 줄이는 것을 목표로 한다.
• 잔차 정보를 점진적으로 증류하는 컴팩트한 네트워크(FBlock, DBlocks, RBlock)를 설계한다.
• 효율적으로 특징을 추출하고 증류하기 위해 enhancement 및 compression 유닛을 도입한다.
• 재구성 정확도를 향상시키기 위해 MAE 손실로 학습하고 이후 MSE 손실로 미세 조정한다.

제안 방법

• LR 입력으로부터 초기 특징을 얻기 위한 두 개의 3x3 컨볼루션을 갖는 특징 추출 블록.
• 정보 증류 블록(DBlocks)을 쌓아 올리며, 각 블록은 enhancement 단위(짧은 경로/긴 경로 특징 처리)와 압축 단위(1x1 컨볼루션)로 정보를 증류한다.
• 정보 증류 블록은 국부 짧은 경로와 긴 경로 특징을 혼합하여 표현을 풍부하게 만들고, 이어 중복을 줄이기 위한 압축을 수행한다.
• 전치 합성 기반 재구성 블록을 통해 상향 샘플링된 LR 입력을 재구성된 HR 잔차에 더하여 전역 잔차 학습을 수행한다.
• 먼저 MAE 손실로 학습하고 그 후 정확도 향상을 위해 MSE 손실로 미세 조정한다.

실험 결과

연구 질문

• RQ1 표준 데이터셋에서 높은 SR 품질을 유지하면서 IDN이 실시간 또는 거의 실시간 추론이 가능한가?
• RQ2 enhancement 및 compression 유닛이 효과적으로 정보를 증류하고 점진적 HR 재구성을 위한 유용한 정보를 보존하는가?
• RQ3 일반 벤치마크에서 PSNR, SSIM, IFC 및 런타임 면에서 IDN이 최첨단 SR 방법과 어떻게 비교되는가?

주요 결과

• IDN은 Set5, Set14, BSD100, Urban100에서 최첨단 방법과 비교해 경쟁력 있는 PSNR/SSIM/IFC를 달성하며, 종종 PSNR과 SSIM에서 상위에 랭크된다.
• IDN은 추론 속도가 우수하여 MemNet과 DRRN 등보다 훨씬 빠르다(예: Urban100에서 2배 확대 시 MemNet 대비 약 500배 빠름).
• Set5 x2에서 37.83 dB PSNR 및 0.9600 SSIM; x3에서 34.11 dB PSNR 및 0.9253 SSIM; x4에서 31.82 dB PSNR 및 0.8903 SSIM.
• Set14 x2에서 33.30 dB PSNR 및 0.9148 SSIM; x3 29.99 dB PSNR 및 0.8354 SSIM; x4 28.25 dB PSNR 및 0.7730 SSIM.
• BSD100 및 Urban100에서 IDN은 일반적으로 여러 기준선보다 PSNR/SSIM에서 우수하며, Table 3에 나타난 IFC 결과로 지각 품질 향상을 강하게 시사한다.
• 그룹 컨볼루션과 글로벌 잔차 구조를 갖춘 31-layer의 컴팩트 네트워크가 실시간 속도를 제공하면서도 경쟁력 있는 재구성 정확도를 유지한다.