[논문 리뷰] Perception-Oriented Single Image Super-Resolution using Optimal Objective Estimation

Seung-Ho Park, Young Su Moon외 1명|arXiv (Cornell University)|2022. 11. 24.

Advanced Image Processing Techniques인용 수 5

한 줄 요약

이 논문은 고해상도 이미지 복원을 위한 인지 중심 단일 이미지 초해상도 프레임워크인 SROOE를 제안한다. SROOE는 고해상도 이미지 복원을 위해 영역별 최적의 목적 함수 지도를 동적으로 추정한다. 학습된 목적 함수 궤적과 이미지 영역별 최적의 손실 가중치를 추론하는 예측 모델을 기반으로 한 생성 모델을 훈련시켜, LPIPS, DISTS 등의 인지 품질 지표와 PSNR, SSIM 등의 왜곡 지표에서 기존 방법들을 능가하는 최신 기술 수준의 성능을 달성한다. 다섯 가지 벤치마크에서 구조적 정밀도가 향상되고 잡음이 감소한 결과를 보였다.

ABSTRACT

Single-image super-resolution (SISR) networks trained with perceptual and adversarial losses provide high-contrast outputs compared to those of networks trained with distortion-oriented losses, such as L1 or L2. However, it has been shown that using a single perceptual loss is insufficient for accurately restoring locally varying diverse shapes in images, often generating undesirable artifacts or unnatural details. For this reason, combinations of various losses, such as perceptual, adversarial, and distortion losses, have been attempted, yet it remains challenging to find optimal combinations. Hence, in this paper, we propose a new SISR framework that applies optimal objectives for each region to generate plausible results in overall areas of high-resolution outputs. Specifically, the framework comprises two models: a predictive model that infers an optimal objective map for a given low-resolution (LR) input and a generative model that applies a target objective map to produce the corresponding SR output. The generative model is trained over our proposed objective trajectory representing a set of essential objectives, which enables the single network to learn various SR results corresponding to combined losses on the trajectory. The predictive model is trained using pairs of LR images and corresponding optimal objective maps searched from the objective trajectory. Experimental results on five benchmarks show that the proposed method outperforms state-of-the-art perception-driven SR methods in LPIPS, DISTS, PSNR, and SSIM metrics. The visual results also demonstrate the superiority of our method in perception-oriented reconstruction. The code and models are available at https://github.com/seungho-snu/SROOE.

연구 동기 및 목표

• 단일 이미지 초해상도에서 고정된 인지적 및 적대적 손실이 자연스럽지 않은 세부 사항과 구조적 왜곡을 유발하는 데 기인한 한계를 해결하기 위해.
• 특히 국소적으로 변화하는 형태를 가진 다양한 이미지 영역에서 최적의 손실 조합을 찾는 데 도전하는 데 기여하기 위해.
• 고차원의 가중치 공간 최적화 없이도 단일 생성자 모델이 다수의 연속적으로 변화하는 목표를 학습할 수 있도록 하기 위해.
• 영역 적응형 목적 추정을 통해 인지 품질과 왜곡 지표를 동시에 향상시키기 위해.
• 고해상도 이미지 복원에서 잡음과 구조적 정밀도를 향상시키기 위해.

제안 방법

• 프레임워크는 두 모델로 구성된다: 주어진 저해상도 입력에 대해 최적의 목적 함수 지도를 추론하는 예측 모델과, 영역별 목적 함수를 적용하여 초해상도 출력을 생성하는 생성 모델.
• 생성 모델은 필수적인 손실 조합을 연결하는 일차원 목적 함수 궤적을 기반으로 훈련되며, 복잡한 고차원 가중치 벡터 최적화를 궤적 추적으로 대체한다.
• 목적 함수 궤적은 다양한 시각 수준에서 효과적인 손실 조합을 연결하여 구성되며, 저대비에서 고대비 설정으로 향하는 방향으로 구성된다.
• 훈련을 위한 최적 목적 함수 지도는 궤적을 따라 격자 탐색을 통해 확보되며, 이로써 쌍방향 저해상도 이미지와 해당 최적 지도가 형성된다.
• 생성자에서 공간적 특징 변환(SFT) 레이어를 사용하여 목표 목적 함수 지도에 따라 특징을 적응적으로 조절한다.
• 예측 모델은 저해상도 입력을 최적 목적 함수 지도로 매핑하도록 훈련되어, 각 이미지 영역에서 국소 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 영역별 최적의 목적 함수 가중치는 단일 이미지 초해상도에서 인지 품질 향상과 잡음 감소에 기여하는가?
• RQ2 다양한 이미지 영역에서 연속적으로 변화하는 손실 목표를 효과적으로 처리할 수 있도록 단일 생성 모델을 어떻게 훈련시킬 수 있는가?
• RQ3 고차원 손실 가중치 최적화와 비교해 일차원 목적 함수 궤적을 사용할 경우 어떤 영향을 미치는가?
• RQ4 최적 목적 함수 추정은 인지 품질과 왜곡 지표를 동시에 얼마나 향상시킬 수 있는가?
• RQ5 구조적 정밀도와 시각적 품질 측면에서 제안된 방법은 최신 기술 수준의 인지 중심 초해상도 방법들과 비교해 어떠한가?

주요 결과

• SROOE는 DIV2K 벤치마크에서 PSNR(27.07)와 SSIM(0.7982) 모두 최고 성능을 기록하여, 비교된 모든 최신 기술 수준의 방법들을 능가한다.
• Urban100 데이터셋에서 SROOE는 PSNR 26.74와 LPIPS 0.0960을 기록하여 두 지표 모두 1위를 차지한다.
• SROOE는 DIV2K에서 DISTS 점수 0.0875를 기록하여 경쟁 방법들보다 유의미하게 낮게, 더 뛰어난 인지 품질을 나타낸다.
• SROOE는 DIV2K에서 높은 LR-PSNR(49.76)를 유지하여 저해상도 입력과의 강한 일관성과 낮은 왜곡을 보여준다.
• 시각적 비교 결과, SROOE는 SRGAN, ESRGAN, RankSRGAN보다 더 선명한 윤곽선과 더 정확한 구조를 생성하며 잡음이 적다.
• 절단 실험 결과, P1234 궤적과 DF2K 훈련을 포함한 전체 SROOE는 기준 방법 대비 PSNR를 0.25 dB 향상시키고, LPIPS를 0.0051 감소시킨다.