[논문 리뷰] Dual Reconstruction Nets for Image Super-Resolution with Gradient Sensitive Loss

Yong Guo, Qi Chen외 6명|arXiv (Cornell University)|2018. 09. 19.

Advanced Image Processing Techniques참고 문헌 27인용 수 14

한 줄 요약

이 논문은 이미지 초해상도에서 저주파수 및 고주파수 콘텐츠 복원을 향상시키기 위해 기울기 민감 손실(GS 손실)을 갖춘 이중 복원 네트워크(DRN)를 제안한다. 이중 학습 체계를 통해 저해상도 및 고해상도 이미지 간의 상호의존성을 활용하고, 구조적 세부 정보를 유지하는 기울기 기반 손실을 적용함으로써, 다양한 벤치마크에서 최신 기준 성능을 달성한다. 특히 8배 확대 시 Set5에서 27.03 dB의 PSNR를 기록한다.

ABSTRACT

Deep neural networks have exhibited promising performance in image super-resolution (SR) due to the power in learning the non-linear mapping from low-resolution (LR) images to high-resolution (HR) images. However, most deep learning methods employ feed-forward architectures, and thus the dependencies between LR and HR images are not fully exploited, leading to limited learning performance. Moreover, most deep learning based SR methods apply the pixel-wise reconstruction error as the loss, which, however, may fail to capture high-frequency information and produce perceptually unsatisfying results, whilst the recent perceptual loss relies on some pre-trained deep model and they may not generalize well. In this paper, we introduce a mask to separate the image into low- and high-frequency parts based on image gradient magnitude, and then devise a gradient sensitive loss to well capture the structures in the image without sacrificing the recovery of low-frequency content. Moreover, by investigating the duality in SR, we develop a dual reconstruction network (DRN) to improve the SR performance. We provide theoretical analysis on the generalization performance of our method and demonstrate its effectiveness and superiority with thorough experiments.

연구 동기 및 목표

• 이미지 초해상도에서 표준 픽셀 단위 손실 함수가 고주파수 구조적 세부 정보를 포착하는 데에 한계가 있음을 해결한다.
• 기존의 인지적 손실 방법에서의 낮은 일반화 능력과 사전 훈련된 모델에 대한 의존성을 극복한다.
• 저해상도 및 고해상도 이미지 간의 이중적 의존성을 활용하여 초해상도에서의 표현 학습을 향상시킨다.
• 이론적 분석과 점진적 개선을 통해 일반화 성능을 향상시키는 훈련 체계를 개발한다.
• 외부 사전 훈련된 네트워크에 의존하지 않고도 정량적 지표(PSNR/SSIM)와 인지적 품질에서 뛰어난 성능을 달성한다.

제안 방법

• 이미지의 기울기 크기를 사용해 저주파수 및 고주파수 성분으로 분리하는 기울기 민감 손실(GS 손실)을 도입하여 콘텐츠와 구조를 동시에 최적화할 수 있도록 한다.
• 전방(LR→HR) 및 역방향(HR→LR) 작업에서 학습하는 이중 복원 네트워크(DRN)를 설계하여, 과제의 이중성을 활용해 특징 학습을 향상시킨다.
• 초기 HR 예측을 감독하는 점진적, 굵기에서 세밀함으로 향상되는 훈련 전략을 구현하여 특징 정련과 기울기 흐름을 향상시킨다.
• 이미지 기울기 크기를 기반으로 한 마스크를 사용해 고주파수 영역을 분리하고, GS 손실을 선택적으로 적용하여 가장자리와 질감을 유지한다.
• DRN 아키텍처는 전방 및 역방향 복원 경로 간의 일관성을 강제하는 이중 모듈을 포함하여 일반화 능력을 향상시킨다.
• 이론적 분석을 통해 이중 학습 체계의 일반화 한계를 유도하여 이전 방법보다 향상된 일반화 능력을 보여준다.

실험 결과

연구 질문

• RQ1 사전 훈련된 네트워크에 의존하지 않고도 기울기 민감 손실이 고주파수 구조적 세부 정보 복원에 기여할 수 있는가?
• RQ2 저해상도 및 고해상도 이미지 간의 이중적 의존성을 활용할 경우 초해상도 성능에 어떤 영향을 미치는가?
• RQ3 점진적, 이중 복원 훈련 체계는 표준 전방향 네트워크보다 더 나은 일반화 능력과 성능을 제공하는가?
• RQ4 제안된 방법은 다양한 데이터셋과 확대 비율에서 PSNR/SSIM 및 인지적 품질 모두에서 최신 기준 성능을 달성할 수 있는가?
• RQ5 이중 복원 프레임워크의 향상된 일반화 성능에 대한 이론적 근거는 무엇인가?

주요 결과

• 제안된 DRN은 8배 확대 시 Set5 데이터셋에서 27.03 dB의 PSNR를 기록하여, EDSR, DBPN, SRDenseNet 등 모든 최신 기준 방법을 능가한다.
• 동일한 벤치마크에서 DRN은 Set14에서 24.86 dB, BSDS100에서 24.83 dB의 PSNR를 기록하여 다양한 데이터셋에서 일관된 우수성을 입증한다.
• GS 손실은 기울기 기반 PSNR를 크게 향상시키며, DRN은 Set5에서 21.29 dB, Set14에서 20.04 dB, BSDS100에서 20.62 dB를 기록하여 SRGAN, SRResNet, DBPN을 모두 능가한다.
• 절단 실험 결과, 이중 복원 체계와 점진적 구조를 조합할 경우 최고의 성능을 기록하며, 기준 모델 대비 Set5에서 0.28 dB, Set14에서 0.21 dB의 PSNR 향상을 보였다.
• 시각적 비교 결과, DRN은 특히 고주파수 영역에서 더 선명하고 세밀한 질감 및 가장자리 유지가 뛰어난 이미지를 생성한다.
• 이론적 분석을 통해 이중 학습 체계가 일반화 능력을 향상시키며, 이전 작업보다 더 일반적인 한계를 갖는 것으로 확인되어 경험적 성과를 뒷받침한다.