[논문 리뷰] Details or Artifacts: A Locally Discriminative Learning Approach to Realistic Image Super-Resolution

Jie Liang, Hui Zeng외 1명|arXiv (Cornell University)|2022. 03. 17.

Advanced Image Processing Techniques인용 수 8

한 줄 요약

이 논문은 GAN 기반 초해상도에서 시각적 아티팩트와 현실적인 세부 정보를 구분하기 위해 局소 잔차 분산 통계를 활용하는 국소적 특징 학습(Locally Discriminative Learning, LDL)을 제안한다. 픽셀 단위의 아티팩트 지도를 생성하고 이를 적대적 훈련에 정규화 요소로 사용함으로써, LDL은 아티팩트를 크게 감소시키면서도 인지적 세부 정보 품질을 유지하며, 합성 및 실세계 벤치마크에서 최신 기술을 능가한다.

ABSTRACT

Single image super-resolution (SISR) with generative adversarial networks (GAN) has recently attracted increasing attention due to its potentials to generate rich details. However, the training of GAN is unstable, and it often introduces many perceptually unpleasant artifacts along with the generated details. In this paper, we demonstrate that it is possible to train a GAN-based SISR model which can stably generate perceptually realistic details while inhibiting visual artifacts. Based on the observation that the local statistics (e.g., residual variance) of artifact areas are often different from the areas of perceptually friendly details, we develop a framework to discriminate between GAN-generated artifacts and realistic details, and consequently generate an artifact map to regularize and stabilize the model training process. Our proposed locally discriminative learning (LDL) method is simple yet effective, which can be easily plugged in off-the-shelf SISR methods and boost their performance. Experiments demonstrate that LDL outperforms the state-of-the-art GAN based SISR methods, achieving not only higher reconstruction accuracy but also superior perceptual quality on both synthetic and real-world datasets. Codes and models are available at https://github.com/csjliang/LDL.

연구 동기 및 목표

• GAN 기반 단일 이미지 초해상도(SISR) 모델에서의 불안정성과 아티팩트 생성 문제를 해결하기 위해.
• SISR 결과에서 인지적으로 불쾌한 아티팩트와 현실적인 고주파 세부 정보를 구분하기 위해.
• 세부 정보 생성에 해를 끼치지 않으면서 아티팩트를 억제하는 훈련 정규화 방법을 개발하기 위해.
• 기존 SISR 프레임워크와 호환되는 플러그인 솔루션을 만들기 위해.
• 합성 및 실세계 SISR 데이터셋 모두에서 효과를 검증하기 위해.

제안 방법

• 이 방법은 초해상도 출력과 진짜 고해상도 이미지 간의 국소적 잔차 분산을 이용해 픽셀 단위의 아티팩트 지도를 구성한다.
• EMA(지수이동평균) 네트워크를 사용한 모델 앙상블 전략을 통해 아티팩트 지도를 보완하여 안정성과 정확도를 향상시킨다.
• 적대적 훈련 중 높은 가능성의 아티팩트 영역을 처벌하기 위해 국소적 특징 학습 손실($\mathcal{L}_{\text{artif}}$)을 도입한다.
• 아티팩트 지도는 픽셀 및 패치 수준에서 계산되며, 민감도와 강건성을 균형 잡기 위해 전역 스케일링($\sigma \cdot \mathbf{M}$)을 적용한다.
• 기존 GAN-SR 모델들(예: ESRGAN, SwinIR, RealESRGAN)에 아키텍처 변경 없이 통합된다.
• 예측의 안정성을 높이기 위해 추론 시 EMA 기반 모델($\Psi_{\text{EMA}}$)이 사용된다.

실험 결과

연구 질문

• RQ1 잔차의 국소적 통계적 차이가 GAN 기반 SISR 결과에서 시각적 아티팩트와 현실적인 세부 정보를 효과적으로 구분할 수 있는가?
• RQ2 학습된 아티팩트 지도를 사용해 적대적 훈련을 안정화시키고 아티팩트를 감소시킬 수 있으며, 세부 정보 품질에 해를 끼치지 않을 수 있는가?
• RQ3 제안된 LDL 방법은 다양한 SISR 아키텍처와 데이터 분포에 일반화되는가?
• RQ4 알 수 없는 왜곡 조건이 있는 실세계 SISR에서 LDL이 인지적 품질과 재구성 정확도를 모두 향상시킬 수 있는가?
• RQ5 아티팩트 지도 보완 및 EMA 통합이 모델의 안정성과 성능 향상에 어떻게 기여하는가?

주요 결과

• RRDB에 적용했을 때 DIV2K 검증 세트에서 LDL은 LPIPS 0.0999 및 PSNR 28.819를 기록하며, 베이스라인 및 분석 버전을 능가한다.
• DF2K 학습 세트에서 LDL은 SwinIR+GAN의 PSNR와 LPIPS를 향상시켜 아키텍처 간 일반화 능력을 입증한다.
• 정성적 결과는 LDL이 미세 구조 영역(예: 조밀한 창문, 얇은 가지)에서 아티팩트를 크게 감소시키고 세부 정보의 선명함을 향상시킨다는 것을 보여준다.
• 실세계 SISR에서 RealESRGAN+LDL은 Ground-Truth가 없음에도 불구하고 RealESRGAN보다 아티팩트 억제 능력이 뛰어나며, BSRGAN보다 더 선명한 세부 정보를 생성한다.
• 분석 연구 결과, 아티팩트 지도, 스케일링, 보완, EMA 각 요소가 성능 향상에 점진적으로 기여한다는 것이 확인되었다.
• Transformer 기반 모델인 SwinIR에 적용했을 때도 이 방법이 효과를 유지함으로써 강력한 아키텍처 일반화 능력을 보였다.