[논문 리뷰] Unsupervised Real-world Image Super Resolution via Domain-distance Aware Training

Yunxuan Wei, Shuhang Gu외 2명|arXiv (Cornell University)|2020. 04. 02.

Advanced Image Processing Techniques참고 문헌 62인용 수 17

한 줄 요약

이 논문은 도메인 간 거리 인식 초해상도(DASR)를 제안하며, 합성 저해상도(LR) 이미지와 실제 LR 이미지 간의 도메인 갭을 보완하기 위해 도메인 갭 인식 훈련과 도메인 거리 가중 감독을 통해 비지도 실세계 이미지 초해상도를 수행하는 새로운 방법이다. 실제 LR 이미지와 생성된 가짜 쌍을 모두 활용함으로써 DASR은 실세계 데이터셋에서 더 현실적인 질감과 뛰어난 인지적 품질을 갖춘 최신 기술 수준의 성능을 달성한다.

ABSTRACT

These days, unsupervised super-resolution (SR) has been soaring due to its practical and promising potential in real scenarios. The philosophy of off-the-shelf approaches lies in the augmentation of unpaired data, i.e. first generating synthetic low-resolution (LR) images $\mathcal{Y}^g$ corresponding to real-world high-resolution (HR) images $\mathcal{X}^r$ in the real-world LR domain $\mathcal{Y}^r$, and then utilizing the pseudo pairs $\{\mathcal{Y}^g, \mathcal{X}^r\}$ for training in a supervised manner. Unfortunately, since image translation itself is an extremely challenging task, the SR performance of these approaches are severely limited by the domain gap between generated synthetic LR images and real LR images. In this paper, we propose a novel domain-distance aware super-resolution (DASR) approach for unsupervised real-world image SR. The domain gap between training data (e.g. $\mathcal{Y}^g$) and testing data (e.g. $\mathcal{Y}^r$) is addressed with our extbf{domain-gap aware training} and extbf{domain-distance weighted supervision} strategies. Domain-gap aware training takes additional benefit from real data in the target domain while domain-distance weighted supervision brings forward the more rational use of labeled source domain data. The proposed method is validated on synthetic and real datasets and the experimental results show that DASR consistently outperforms state-of-the-art unsupervised SR approaches in generating SR outputs with more realistic and natural textures.

연구 동기 및 목표

• 비지도 초해상도에서 합성 저해상도(LR) 이미지와 실세계 LR 이미지 간의 도메인 갭을 해결하기 위해.
• 쌍이 없는 훈련 데이터를 사용함에도 불구하고 실세계 이미지에서의 일반화 능력과 인지적 품질을 향상시키기 위해.
• 도메인 적응 프레임워크 내에서 실제 LR 이미지와 생성된 가짜 쌍을 효과적으로 활용하는 훈련 전략을 개발하기 위해.
• 합성 LR 데이터와 실제 LR 데이터 간의 분포 불일치를 모델링하여 아티팩트를 줄이고 초해상도 출력의 질감 현실감을 향상시키기 위해.

제안 방법

• 실제 LR 이미지를 적대적 훈련 루프에 통합하여 생성된 LR 분포를 실제 분포와 일치시키는 도메인 갭 인식 훈련을 제안한다.
• 합성 LR 이미지와 실제 LR 이미지 간의 도메인 거리에 따라 손실을 적응적으로 재가중하는 도메인 거리 가중 감독을 도입한다.
• 실제 고해상도(HR) 이미지에서 합성 LR 이미지를 생성하기 위해 열악화 네트워크를 사용하여 감독 훈련을 위한 가짜 쌍을 형성한다.
• 도메인 불일치를 측정하고 합성 LR 데이터와 실제 LR 데이터 간의 분포 이탈을 최소화하도록 훈련 과정을 안내하기 위해 판별자(Discriminator)를 사용한다.
• 실제 LR 이미지에 대한 적대적 손실과 합성 데이터에 대한 인지적/가중 손실을 조합하여 SR 네트워크를 훈련시킨다.
• 더 높은 도메인 거리를 가진 샘플을 우선시하여 훈련 목표를 조정함으로써 모델의 강건성과 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 합성 LR 이미지와 실세계 LR 이미지 간의 도메인 갭을 비지도 초해상도에서 효과적으로 줄일 수 있는가?
• RQ2 훈련 중에 실제 LR 이미지를 통합하면 실세계 데이터에서 비지도 SR 모델의 일반화 능력이 향상되는가?
• RQ3 도메인 거리 가중 감독은 합성 데이터의 활용도를 높이고 인지적 품질을 향상시키는가?
• RQ4 제안된 방법은 실세계 벤치마크에서 최신 기술 수준의 비지도 SR 접근법과 비교해 어떻게 성능을 냈는가?

주요 결과

• DASR은 RealSR 데이터셋에서 최신 기술 수준의 성능을 달성했으며, PSNR는 26.782, LPIPS는 0.228를 기록하여 FSSR 및 기타 비지도 방법보다 뚜렷이 뛰어나다.
• CameraSR 데이터셋에서 DASR은 PSNR 25.769, LPIPS 0.151를 기록했으며, FSSR 및 ZSSR에 비해 뛰어난 일반화 능력과 인지적 품질을 입증했다.
• 사용자 선호도 연구에서 DASR은 AIM 챌린지 데이터셋에서 MOS 점수 2.60을 기록했으며, FSSR(3.14) 및 기타 비지도 기반 기준 모델을 앞섰다.
• 시각적 결과에서는 DASR이 FSSR 및 ZSSR에 비해 가장자리 및 미세한 디테일과 같은 복잡한 영역에서 더 선명한 질감과 더 적은 아티팩트를 생성하는 것으로 나타났다.
• 도메인 갭 인식 훈련 전략은 판별자 기반 도메인 이탈 분석을 통해 합성 LR 이미지와 실제 LR 이미지 간의 분포 불일치를 효과적으로 줄이는 것으로 확인되었다.
• 도메인 거리 가중 감독은 더 도전적인 고도메인 거리 샘플에 집중함으로써 모델의 일반화 능력을 향상시키는 데 기여했다.