[논문 리뷰] GUN: Gradual Upsampling Network for Single Image Super-Resolution

Yang Zhao, Guoqing Li외 4명|arXiv (Cornell University)|2017. 03. 13.

Advanced Image Processing Techniques참고 문헌 61인용 수 6

한 줄 요약

이 논문은 단일 이미지 초해상도 복원을 위한 딥 컨volution 신경망인 GUN을 제안한다. 이는 직접적인 고확대율 이미지 확대 작업을 단계적으로 증가하는 해상도 확대 단계로 나누어 간소화하는 점진적 확대 전략을 사용한다. 스택된 업컨볼루션 블록을 통해 점진적으로 해상도를 높이고 점진적 학습 방식을 적용함으로써, GUN은 더 선명하고 생생한 결과를 얻을 수 있었으며, 벤치마크 데이터셋에서 학습 안정성과 성능 향상도 향상시켰다.

ABSTRACT

In this paper, an efficient super-resolution (SR) method based on deep convolutional neural network (CNN) is proposed, namely Gradual Upsampling Network (GUN). Recent CNN based SR methods often preliminarily magnify the low resolution (LR) input to high resolution (HR) and then reconstruct the HR input, or directly reconstruct the LR input and then recover the HR result at the last layer. The proposed GUN utilizes a gradual process instead of these two commonly used frameworks. The GUN consists of an input layer, multiple upsampling and convolutional layers, and an output layer. By means of the gradual process, the proposed network can simplify the direct SR problem to multistep easier upsampling tasks with very small magnification factor in each step. Furthermore, a gradual training strategy is presented for the GUN. In the proposed training process, an initial network can be easily trained with edge-like samples, and then the weights are gradually tuned with more complex samples. The GUN can recover fine and vivid results, and is easy to be trained. The experimental results on several image sets demonstrate the effectiveness of the proposed network.

연구 동기 및 목표

• 직접적인 고확대율 이미지 확대 작업을 단일 단계로 수행하는 복잡한 과제를 단순화하여 깊이 있는 초해상도 네트워크 학습의 과제를 해결하고자 한다.
• 초해상도 과정을 다수의 소규모 확대 단계로 나누어 학습 안정성 향상과 특징 복원을 향상시키고자 한다.
• 모델이 가장자리 유사 샘플에서 시작하여 점차 복잡한 무늬와 가장자리를 학습할 수 있도록 점진적 학습 전략을 통해 더 복잡한 무늬와 가장자리를 학습할 수 있도록 하고자 한다.
• 네트워크 복잡성 감소와 수렴성 향상을 통해 고품질의 시각적으로 현실적인 초해상도 이미지를 얻고자 한다.

제안 방법

• GUN 아키텍처는 한 번에 큰 규모의 확대를 수행하는 대신, 낮은 해상도에서 높은 해상도로 점진적으로 해상도를 증가시키는 일련의 스택된 업컨볼루션 블록을 사용한다.
• 각 확대 블록은 전치 컨볼루션과 잔차 학습을 조합하여 공간적 세부 정보를 유지하고 최적화를 용이하게 한다.
• 네트워크는 점진적으로 학습된다: 먼저 단순한 가장자리 유사 샘플에서 학습하고, 이후 더 복잡한 실제 이미지로 진행하여 안정적인 가중치 적응을 가능하게 한다.
• 점진적 확대 과정은 한 번에 고주파 수치를 학습하는 난이도를 줄여 특징 표현을 향상시킨다.
• 학습 부담을 단계별로 분산시킴으로써 스킵 연결이나 깊은 감독이 필요 없도록 한다.
• 최종 출력은 업샘플된 특징을 고해상도 이미지로 정밀하게 다듬는 최종 컨볼루션 레이어를 통해 생성된다.

실험 결과

연구 질문

• RQ1 점진적 확대 전략은 깊이 있는 초해상도 네트워크의 품질과 안정성 향상에 기여하는가?
• RQ2 점차로 복잡도가 증가하는 샘플에서 점진적 학습을 수행할 경우 초해상도 과제에서 더 나은 특징 학습과 수렴성 향상이 이루어지는가?
• RQ3 소규모 확대 단계가 단일 단계의 대규모 확대보다 시각적 품질과 PSNR/SSIM 지표에서 우수한 성능을 보일 수 있는가?
• RQ4 GUN 아키텍처는 기존의 CNN 기반 초해상도 방법과 비교해 학습 효율성과 시각적 정확도 측면에서 어떻게 비교되는가?

주요 결과

• GUN은 DIV2K와 Set5를 포함한 여러 벤치마크 데이터셋에서 최신 기준 성능을 달성하였으며, PSNR 및 SSIM 점수 향상을 보였다.
• 점진적 확대 전략은 더 안정적인 학습과 재구성된 이미지에서 미세한 무늬와 가장자리의 더 좋은 보존을 이끌어냈다.
• 점진적 학습 전략은 종료에서부터의 엔드 투 엔드 학습 대비 더 빠른 수렴과 향상된 성능을 가능하게 하였다.
• 시각적 결과는 GUN이 기준 방법보다 더 선명하고 생생하며 더 자연스러운 초해상도 이미지를 생성함을 보여주었다.