[논문 리뷰] Single Image Super Resolution based on a Modified U-net with Mixed Gradient Loss

Zhengyang Lu, Ying Chen|arXiv (Cornell University)|2019. 11. 21.

Advanced Image Processing Techniques참고 문헌 35인용 수 24

한 줄 요약

이 논문은 단일 이미지 초해상도 복원(SISR)을 위한 수정된 U-Net 아키텍처와 혼합 기울기 손실을 제안하여 에지의 날카움과 재구성 품질을 향상시킨다. 배치 정규화와 여분의 합성곱 레이어를 제거함으로써 모델은 파라미터 수와 추론 시간을 줄이면서도, MSE와 가중 평균 기울기 오차(MixGE)를 조합한 손실을 사용하여 구조적 충실도를 향상시킨다. 이로 인해 SET14, BSD300, ICDAR2003 데이터셋에서 최신 기준 성능을 달성한다.

ABSTRACT

Single image super-resolution (SISR) is the task of inferring a high-resolution image from a single low-resolution image. Recent research on super-resolution has achieved great progress due to the development of deep convolutional neural networks in the field of computer vision. Existing super-resolution reconstruction methods have high performances in the criterion of Mean Square Error (MSE) but most methods fail to reconstruct an image with shape edges. To solve this problem, the mixed gradient error, which is composed by MSE and a weighted mean gradient error, is proposed in this work and applied to a modified U-net network as the loss function. The modified U-net removes all batch normalization layers and one of the convolution layers in each block. The operation reduces the number of parameters, and therefore accelerates the reconstruction. Compared with the existing image super-resolution algorithms, the proposed reconstruction method has better performance and time consumption. The experiments demonstrate that modified U-net network architecture with mixed gradient loss yields high-level results on three image datasets: SET14, BSD300, ICDAR2003. Code is available online.

연구 동기 및 목표

• 기존 SISR 방법이 날카로운 에지와 고기울기 성분을 재구성하는 데에 한계를 보이는 것을 해결하기 위해.
• 재구성 정확도를 훼손하지 않고 모델 복잡도와 추론 시간을 줄이기 위해.
• 자연 풍경 및 무늬가 풍부한 이미지 데이터셋 모두에서 성능을 향상시키기 위해.
• 실시간 응용에 적합한 경량이고 효율적인 아키텍처를 개발하기 위해.
• 픽셀 수준의 정확도(MSE)와 구조적 충실도(기울기 손실)를 통합된 손실 함수에 통합하기 위해.

제안 방법

• 배치 정규화 레이어를 모두 제거하고 블록당 하나의 합성곱 레이어를 제거하여 파라미터 수와 계산량을 줄인 수정된 U-Net 아키텍처를 제안한다.
• 입력 이미지는 직접적으로 더 큰 해상도로 업샘플링되며, 동일한 해상도에서 대응하는 블록 간에 스킵 연결이 설정되어 공간 정보를 유지한다.
• 혼합 기울기 오차(MixGE) 손실이 도입되며, 이는 소벨 기반 기울기 계산을 사용하여 평균 제곱오차(MSE)와 가중 평균 기울기 오차(MGE)를 조합한다.
• 손실 함수는 추론 과정에서 종단 간 최적화되어 픽셀 수준의 정확도와 에지 날카움을 모두 향상시킨다.
• 모델은 SET14, BSD300, ICDAR2003 세 가지 벤치마크 데이터셋을 사용하여 PyTorch로 훈련된다.
• 모델은 UnetSR+로 명명되며, GitHub에서 공개적으로 이용 가능하다.

실험 결과

연구 질문

• RQ1 컴ponent를 줄인 수정된 U-Net 아키텍처가 더 낮은 계산 비용으로도 열등한 SISR 성능을 달성할 수 있는가?
• RQ2 MSE와 기울기 기반 손실을 조합하면 MSE만 사용할 경우보다 에지 재구성 성능이 향상되는가?
• RQ3 ICDAR2003과 같은 무늬가 풍부한 데이터셋에서 제안된 방법은 최신 기준 모델 대비 어떻게 성능을 내는가?
• RQ4 배치 정규화와 여분의 레이어를 제거함으로써 성능을 유지하거나 향상시키면서 모델 크기를 줄일 수 있는가?
• RQ5 SISR 작업에서 모델 복잡도, 추론 속도, 재구성 정확도 사이의 상충 관계는 어떠한가?

주요 결과

• 제안된 UnetSR+는 스케일 ×2에서 ICDAR2003 데이터셋에서 최고의 PSNR(26.8546 dB)와 SSIM(0.7554)를 기록하여 모든 다른 방법들을 능가한다.
• 데이터셋과 스케일 평균적으로, UnetSR+는 파라미터 수가 30% 더 많음에도 불구하고 SRGAN 대비 평균 10.76% 높은 PSNR와 11.73% 높은 SSIM 성능을 달성한다.
• UnetSR+는 DBPN 대비 모델 파라미터를 36%로 줄였고, PSNR는 2.25 dB 향상되고 SSIM은 2.47% 향상되었다.
• 시각적 결과에서는 UnetSR+가 ESPCN, DBPN, UnetSR에 비해 세밀한 디테일과 날카로운 에지를 더 정확하게 재구성하는 것으로 나타났으며, 특히 ICDAR2003의 텍스트가 풍부한 장면에서 뚜렷한 우수성을 보였다.
• 모델은 자연 풍경(SET14, BSD300)과 무늬가 풍부한(ICCARD2003) 데이터셋 모두에서 높은 성능을 유지하여 다양한 도메인에 대한 강건성을 입증했다.
• 제거된 아날리시스 연구는 배치 정규화와 블록당 하나의 합성곱 레이어 제거가 성능 저하 없이 파라미터 수를 줄이는 데 성공했음을 확인한다.