[논문 리뷰] Progressive Perception-Oriented Network for Single Image Super-Resolution

Hui Zheng, Jie Li외 2명|arXiv (Cornell University)|2019. 07. 24.

Advanced Image Processing Techniques참고 문헌 50인용 수 8

한 줄 요약

이 논문은 단일 이미지 초해상도를 위한 점진적 인지 중심 네트워크(PPON)를 제안한다. PPON은 콘텐츠, 구조, 사진 실사성 재구성의 세 단계 모듈을 통해 점진적으로 이미지 품질을 향상시킨다. 이 모듈들은 순차적으로 훈련되며, 다중 척도 계층적 특징 융합 기법을 사용하여, 이전 방법보다 더 낮은 LPIPS(0.1194)와 더 높은 MOS(3.58)를 기록함으로써 최신 기술 수준의 인지 품질을 달성한다. 또한 초기 단계의 가중치를 동결하여 훈련 시간을 단축시킨다.

ABSTRACT

Recently, it has been demonstrated that deep neural networks can significantly improve the performance of single image super-resolution (SISR). Numerous studies have concentrated on raising the quantitative quality of super-resolved (SR) images. However, these methods that target PSNR maximization usually produce blurred images at large upscaling factor. The introduction of generative adversarial networks (GANs) can mitigate this issue and show impressive results with synthetic high-frequency textures. Nevertheless, these GAN-based approaches always have a tendency to add fake textures and even artifacts to make the SR image of visually higher-resolution. In this paper, we propose a novel perceptual image super-resolution method that progressively generates visually high-quality results by constructing a stage-wise network. Specifically, the first phase concentrates on minimizing pixel-wise error, and the second stage utilizes the features extracted by the previous stage to pursue results with better structural retention. The final stage employs fine structure features distilled by the second phase to produce more realistic results. In this way, we can maintain the pixel, and structural level information in the perceptual image as much as possible. It is useful to note that the proposed method can build three types of images in a feed-forward process. Also, we explore a new generator that adopts multi-scale hierarchical features fusion. Extensive experiments on benchmark datasets show that our approach is superior to the state-of-the-art methods. Code is available at https://github.com/Zheng222/PPON.

연구 동기 및 목표

• 고해상도 배율이 클수록 발생하는 PSNR와 인지 품질 간의 상충 관계를 해결하기 위해.
• GAN 기반 초해상도 방법에서 흔히 발생하는 흐림과 잡음 문제를 콘텐츠, 구조, 현실감 단계에서 점진적으로 이미지 품질을 향상시켜 완화하기 위해.
• 초기 단계의 가중치를 동결하고 인지 중심 모듈을 단계적으로 미세조정함으로써 훈련 시간을 단축시키기 위해.
• 다중 분지 및 계층적 특징 융합 아키텍처를 통해 픽셀 수준의 정확성을 유지하면서도 구조적 및 인지적 정확성을 향상시키기 위해.

제안 방법

• 이 방법은 세 분지 아키텍처를 사용한다: 픽셀 단위 오차 최소화를 위한 콘텐츠 재구성 모듈(CRM), 구조 손실를 사용하여 구조 유지에 기여하는 구조 재구성 모듈(SRM), 그리고 적대적 손실 및 인지 손실을 사용하여 인지적 현실감을 향상시키는 사진 실사성 재구성 모듈(PRM).
• 다양한 비율의 확장 컨볼루션을 사용하는 새로운 계층적 특징 융합 블록(HFFB)이 각 블록 내에서 다중 척도 특징을 캡처한다.
• 깊이 있는 네트워크에서 훈련을 안정화하기 위해 잔차 내 잔차 연결을 사용한 잔차 내 잔차 융합 블록(RRFB)이 적용된다.
• 단계별 훈련 전략은 사전 훈련 후 CRM과 SRM의 가중치를 동결하고, 최소한의 가중치 갱신으로 PRM만을 미세조정함으로써 훈련 시간을 단축시킨다.
• 사전 훈련된 VGG 네트워크를 사용해 인지 특징을 추출하고, 중간 특징에서 인지 손실을 계산하여 현실적인 질감 생성을 유도한다.
• 모델은 단일 순방향 전파에서 세 가지 유형의 이미지를 생성한다: 저해상도 입력, 향상된 콘텐츠 이미지, 최종 사진 실사성 출력.

실험 결과

연구 질문

• RQ1 점진적 단계별 훈련 전략이 PSNR 및 SSIM 등의 정량적 지표를 떨어뜨리지 않고 인지 초해상도를 향상시킬 수 있는가?
• RQ2 다중 척도 계층적 특징 융합은 초해상도 이미지에서 질감과 구조적 세부 정보를 어떻게 유지하는가?
• RQ3 단계적 훈련 중 가중치를 동결함으로써 훈련 시간을 얼마나 줄일 수 있으며, 성능 유지에 영향을 주는가?
• RQ4 제안된 방법이 LPIPS 및 MOS로 측정된 인지 품질에서 기존의 GAN 기반 및 PSNR 최적화 모델을 뛰어넘는가?
• RQ5 비기준 인지 지표인 PI는 이미지 품질을 신뢰성 있게 반영할 수 있는가, 아니면 LPIPS가 초해상도 평가에 더 강력한 지표인가?

주요 결과

• PPON은 PIRM 검증 세트에서 LPIPS 점수 0.1194를 기록하여 ESRGAN(0.1443)을 능가하고 인지 품질에서 새로운 최신 기술 수준을 수립했다.
• PPON의 평균 관점 점수(MOS)는 3.58로, ESRGAN(3.23)과 CX(2.42)보다 유의미하게 높아 시각적 품질이 뛰어나다는 것을 시사한다.
• PPON은 PIRM 검증 세트에서 PSNR 26.20 dB 및 SSIM 0.6995를 유지하여 인지적 정확성과 픽셀 수준의 정확성을 균형 있게 확보한다.
• 인지 브랜치에서 192×192 패치를 사용함으로써, 계산 비용으로 인해 큰 패치를 사용할 수 없는 ESRGAN에 비해 더 나은 성능을 달성한다.
• 제거 분석 결과, 더 큰 훈련 패치(192×192)가 인지 품질을 향상시키며, 단계별 훈련 전략이 후속 단계에서의 가중치 갱신을 최소화하여 훈련 시간을 단축시킨다는 것이 확인되었다.
• 시각적 비교 결과, ESRGAN이나 EPSR3에 비해 PPON이 더 선명하고 현실적인 질감을 생성하며 잡음 요소를 적게 유발하지만, 일부 경우 ESRGAN이 더 낮은 LPIPS를 기록하는 것으로 나타났다.