[논문 리뷰] Natural and Realistic Single Image Super-Resolution with Explicit Natural Manifold Discrimination

Jae Woong Soh, Gu Yong Park외 2명|arXiv (Cornell University)|2019. 11. 09.

Advanced Image Processing Techniques참고 문헌 39인용 수 5

한 줄 요약

이 논문은 저수준 이미지 도메인에서 천연 다양체를 명시적으로 모델링하여 인지적 품질을 향상시키는 새로운 단일 이미지 초해상도 방법 NatSR를 제안한다. CNN 기반의 천연 다양체 판별자(NMD)를 도입함으로써 초해상도 출력이 천연 이미지 다양체 내에 위치하도록 제약을 둠으로써, SRGAN 및 SFT-GAN과 같은 최신의 인지 중심 방법들보다 잡음과 이상한 무늬가 적고 더 현실적인 질감을 생성한다.

ABSTRACT

Recently, many convolutional neural networks for single image super-resolution (SISR) have been proposed, which focus on reconstructing the high-resolution images in terms of objective distortion measures. However, the networks trained with objective loss functions generally fail to reconstruct the realistic fine textures and details that are essential for better perceptual quality. Recovering the realistic details remains a challenging problem, and only a few works have been proposed which aim at increasing the perceptual quality by generating enhanced textures. However, the generated fake details often make undesirable artifacts and the overall image looks somewhat unnatural. Therefore, in this paper, we present a new approach to reconstructing realistic super-resolved images with high perceptual quality, while maintaining the naturalness of the result. In particular, we focus on the domain prior properties of SISR problem. Specifically, we define the naturalness prior in the low-level domain and constrain the output image in the natural manifold, which eventually generates more natural and realistic images. Our results show better naturalness compared to the recent super-resolution algorithms including perception-oriented ones.

연구 동기 및 목표

• 세부 질감이 없는 흐릿하고 평균화된 결과를 생성하는 왜곡 중심 SISR 모델의 한계를 해결한다.
• 인지 손실 기반 방법이 자연스럽지 않은 잡음과 만화 같은 세부 정보를 생성하는 문제를 해결한다.
• 저수준 도메인에서 천연 이미지 다양체를 명시적으로 모델링하여 초해상도 결과가 더 현실적으로 햖을 수 있도록 이끈다.
• 고수준 의미적 사전 지식이나 카테고리별 특화 지도 없이도 높은 인지적 품질을 유지하는 방법을 개발한다.
• 학습된 판별자를 사용해 출력 공간을 천연 다양체로 제약하여 인지적 현실감과 자연스러움 사이의 균형을 이루도록 한다.

제안 방법

• 저해상도에서 고해상도로의 매핑을 다대일 문제로 모델링하며, 고해상도 공간을 천연 다양체와 비천연 다양체로 분할한다.
• 저수준 도메인에서 천연 및 비천연 이미지 패치를 구분할 수 있도록 CNN 기반의 천연 다양체 판별자(NMD)를 설계한다.
• NMD를 생성적 프레임워크에 통합하여 학습 중 천연 다양체 외부에 위치한 출력을 방지하도록 페널티를 적용한다.
• 특징 재사용과 학습 안정성을 향상시키기 위해 생성자에 프랙탈 잔차 학습(FRL)을 사용한다.
• 왜곡 중심 손실(예: L1/L2)을 픽셀 수준의 정밀도를 위해, 자연스러움을 위해 NMD 손실을 조합한 하이브리드 손실을 사용하여 모델을 훈련시킨다.
• 적대적 훈련 중에 NMD 손실을 적용하여 생성자가 현실적이고 잡음이 없는 질감을 생성하도록 이끈다.

실험 결과

연구 질문

• RQ1 저수준 도메인에서 천연 이미지 다양체를 명시적으로 모델링하면 단일 이미지 초해상도에서 인지적 품질을 향상시킬 수 있는가?
• RQ2 고수준 의미적 지도보다 저수준 판별자를 통해 자연스러움을 강제로 구현할 경우, 현실감과 잡음 억제 측면에서 어떤가?
• RQ3 천연 다양체 판별자가 환영된 또는 자연스럽지 않은 질감을 효과적으로 줄일 수 있는가, 동시에 세부 정보는 유지하는가?
• RQ4 제안된 방법은 최신의 GAN 기반 및 인지 중심 SISR 모델보다 더 뛰어난 인지적 품질을 달성하는가?
• RQ5 NMD 손실은 재구성 정밀도를 떨어뜨리지 않고 자연스러움을 얼마나 향상시키는가?

주요 결과

• BSD100에서 NatSR는 NIQE 점수 0.6675로 두 번째로 높은 성능을 기록했으며, NQSR에서도 두 번째로 높은 순위를 기록하여 인간 평가와 강한 인지 일致성을 보였다.
• DIV2K 검증 세트에서 NatSR는 SRGAN, EnhanceNet, SFT-GAN보다 더 자연스럽고 잡음이 적은 결과를 생성했으며, 더 현실적인 질감을 구현했다.
• FRSR 변형(왜곡 중심)은 Urban100 벤치마크에서 EDSR와 유사한 PSNR(27.72)와 SSIM(0.7414) 성능을 기록했으며, 파라미터 수가 훨씬 적은 4.9M 대비 43M이었다.
• 주관적 MOS 평가에서 NatSR는 SRGAN과 EnhanceNet보다 더 자연스럽고 현실적으로 평가되었으며, SFT-GAN은 건축적 세부 정보에서 뚜렷한 잡음을 보였다.
• NMD 손실은 노이즈가 많거나 흐릿한 출력을 효과적으로 억제했으며, NIQE와 NQSR 등의 NR-IQA 점수에서 다른 인지 중심 모델보다 낮은 수준을 기록했다.
• 메서드는 일반화 능력에서 SFT-GAN을 능가하며, 카테고리별 특화 의미적 사전 지식이 필요로 하지 않으며, 분포 외부 입력에서 성능 저하가 발생하지 않았다.