[논문 리뷰] Dual Perceptual Loss for Single Image Super-Resolution Using ESRGAN

Jie Song, Huawei Yi외 4명|arXiv (Cornell University)|2022. 01. 17.

Advanced Image Processing Techniques인용 수 6

한 줄 요약

이 논문은 단일 이미지 초해상도 분석을 위한 새로운 손실 함수인 이중 지각 손실(Dual Perceptual Loss, DP Loss)을 제안한다. 이는 VGG 및 ResNet 네트워크의 특징을 조합하여 지각 품질과 구조적 충실도를 향상시킨다. 두 가지 지각 손실의 동적 가중치를 통해 학습 편향을 줄이고 질감 세부 정보 복원 능력을 향상시켜 Set5, Set14, BSD100, Urban100 등의 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The proposal of perceptual loss solves the problem that per-pixel difference loss function causes the reconstructed image to be overly-smooth, which acquires a significant progress in the field of single image super-resolution reconstruction. Furthermore, the generative adversarial networks (GAN) is applied to the super-resolution field, which effectively improves the visual quality of the reconstructed image. However, under the condtion of high upscaling factors, the excessive abnormal reasoning of the network produces some distorted structures, so that there is a certain deviation between the reconstructed image and the ground-truth image. In order to fundamentally improve the quality of reconstructed images, this paper proposes a effective method called Dual Perceptual Loss (DP Loss), which is used to replace the original perceptual loss to solve the problem of single image super-resolution reconstruction. Due to the complementary property between the VGG features and the ResNet features, the proposed DP Loss considers the advantages of learning two features simultaneously, which significantly improves the reconstruction effect of images. The qualitative and quantitative analysis on benchmark datasets demonstrates the superiority of our proposed method over state-of-the-art super-resolution methods.

연구 동기 및 목표

• 높은 확대 비율에서 초해상도 복원에 나타나는 구조적 왜곡을 해결하기 위해.
• VGG와 ResNet 네트워크의 상호보완적 특징을 활용하여 지각 품질을 향상시키기 위해.
• 다양한 크기의 지각 손실 간의 불균형을 동적 가중치로 해결하기 위해.
• 네트워크의 질감 세부 정보 추론 능력 향상과 현실적인 이미지 구조 유지 능력을 강화하기 위해.

제안 방법

• VGG 기반 및 ResNet 기반 지각 특징을 조합하여 이중 지각 손실(DP Loss)을 제안한다.
• 미리 훈련된 VGG 및 ResNet 네트워크를 사용해 다중 수준의 특징을 추출하여 지각 손실 계산에 활용한다.
• 학습 중 VGG와 ResNet 손실 간 크기 차이를 보정하기 위해 동적 가중치 메커니즘을 적용한다.
• 원래의 지각 손실을 대체하기 위해 ESRGAN 프레임워크에 DP Loss를 통합한다.
• 적대적 손실, 지각 손실, 그리고 제안된 DP Loss를 포함한 복합 손실 함수를 최적화하여 네트워크를 학습시킨다.
• 학습 과정에서 손실 구성 요소 간의 지배를 방지하기 위해 동적으로 조정되는 손실 가중 전략을 적용한다.

실험 결과

연구 질문

• RQ1 지각 손실에 VGG와 ResNet 특징을 조합하면 초해상도 품질 향상에 기여하는가?
• RQ2 동적 손실 가중치는 서로 다른 크기의 지각 손실 구성 요소 간의 크기 격차를 효과적으로 보정하는가?
• RQ3 기본 지각 손실과 비교해 제안된 DP Loss는 구조적 충실도와 시각적 품질 측면에서 어떻게 성능을 냈는가?
• RQ4 이중 특징 접근 방식은 아티팩트를 얼마나 줄이고 질감 세부 정보 복원 능력을 얼마나 향상시키는가?

주요 결과

• Set5 데이터셋에서 제안된 ESRGAN-DP 방법은 PSNR 27.11과 LPIPS 0.0990을 기록하여 ESRGAN 및 SFTGAN을 능가한다.
• Set14에서 방법은 PSNR 26.00과 LPIPS 0.1139을 기록하여 기준 ESRGAN 대비 일관된 향상을 보였다.
• BSD100에서 방법은 PSNR 25.40과 LPIPS 0.1280을 기록하여 다양한 이미지 유형에 대해 뛰어난 내구성을 입증했다.
• Urban100에서 방법은 PSNR 24.79와 LPIPS 0.1186을 기록하여 복잡한 실생활 이미지에서 뛰어난 성능을 보였다.
• 제거 실험 결과, ResNet 손실과 동적 가중치 모두 SSIM 및 LPIPS 점수 향상에 기여하는 것으로 확인되었다.
• 시각적 비교 결과, DP Loss는 기준 ESRGAN 대비 비현실적인 아티팩트를 줄이고 질감 명료도를 향상시켰다.