[논문 리뷰] Optimizing Generative Adversarial Networks for Image Super Resolution via Latent Space Regularization

Sheng Zhong, Shifu Zhou|arXiv (Cornell University)|2020. 01. 22.

Advanced Image Processing Techniques참고 문헌 27인용 수 4

한 줄 요약

이 논문은 단일 이미지 초해상도(SISR)에서 생성적 적대적 네트워크(GANs)에 대해 잠재 공간 정규화(Latent Space Regularization, LSR)를 제안하며, 학습된 인코딩 네트워크와 잠재 공간 정규화 항을 통해 리프시츠 연속성(Lipschitz continuity)을 강제하여 구조적 정밀도를 향상시키고 잡음과 기법을 감소시킨다. 이 방법은 ESRGAN과 SRGAN과 같은 최첨단 모델보다도 시각적 품질, 선명도, 구조 유사도에서 뛰어나며, L1 오차는 낮고 벤치마크 간 일관성이 높다.

ABSTRACT

Natural images can be regarded as residing in a manifold that is embedded in a higher dimensional Euclidean space. Generative Adversarial Networks (GANs) try to learn the distribution of the real images in the manifold to generate samples that look real. But the results of existing methods still exhibit many unpleasant artifacts and distortions even for the cases where the desired ground truth target images are available for supervised learning such as in single image super resolution (SISR). We probe for ways to alleviate these problems for supervised GANs in this paper. We explicitly apply the Lipschitz Continuity Condition (LCC) to regularize the GAN. An encoding network that maps the image space to a new optimal latent space is derived from the LCC, and it is used to augment the GAN as a coupling component. The LCC is also converted to new regularization terms in the generator loss function to enforce local invariance. The GAN is optimized together with the encoding network in an attempt to make the generator converge to a more ideal and disentangled mapping that can generate samples more faithful to the target images. When the proposed models are applied to the single image super resolution problem, the results outperform the state of the art.

연구 동기 및 목표

• 기본 진짜 타겟에 접근함에도 불구하고 GAN 기반 초해상도에서 지속적인 잡음과 구조적 왜곡을 해결하기 위해.
• 잠재 공간에서 局부 불변성(local invariance)을 강제하여 생성된 고해상도 이미지가 진짜 타겟과 더 유사하게 유지되도록 하기 위해.
• 리프시츠 연속성 제약 조건을 통합하여 감독 기반 SISR에서 GAN의 학습 안정성과 수렴성을 향상시키기 위해.
• 이미지를 분리된 최적의 잠재 공간으로 매핑하는 인코딩 네트워크와 생성자 간의 공동 최적화 프레임워크를 개발하기 위해.
• ESRGAN과 SRGAN과 같은 기존 SISR 방법보다 시각적 품질과 구조 정확도에서 뛰어난 성능을 내기 위해.

제안 방법

• 고해상도 이미지를 낮은 차원의 잠재 공간으로 매핑하는 커플링 인코딩 네트워크를 도입하며, 이는 리프시츠 연속성 조건(Lipschitz Continuity Condition, LCC)에서 유도된다.
• LCC는 카루시-쿠른-터커(Karush-Kuhn-Tucker, KKT) 조건을 사용하여 생성자 손실 함수에 정규화 항으로 재구성하여 국소 불변성을 강제한다.
• 생성자와 인코딩 네트워크를 함께 최적화하여 생성자가 목표 이미지 다양체로 더 이상의 이상적인 분리된 매핑을 학습하도록 보장한다.
• 이 방법은 LCC 기반 정규화를 GAN 프레임워크에 통합하며, 특히 Relativistic 적대적 손실과 인지적 손실을 갖춘 ESRGAN 아키텍처를 강화한다.
• 인지적 손실에는 VGG19-conv54 특징을 사용하고, 정량적 평가를 위해 Y 채널에 L1 정규화를 적용한다.
• 모델은 DIV2K 데이터셋에서 엔드 투 엔드로 훈련되며, 다양한 손실 구성 요소와 적대적 목표에 대한 분석 연구가 수행된다.

실험 결과

연구 질문

• RQ1 잠재 공간에서 리프시츠 연속성을 강제하면 GAN 기반 초해상도에서 구조적 왜곡과 잡음을 줄일 수 있는가?
• RQ2 학습된 인코딩 네트워크를 GAN과 공동 최적화하면 생성된 이미지의 진짜 타겟에 대한 유사도가 향상되는가?
• RQ3 LSR는 표준 GAN과 ESRGAN에 비해 시각적 품질과 구조 유사도 측면에서 어떻게 비교되는가?
• RQ4 LSR 방법은 PSNR, SSIM, PI와 같은 정량적 지표의 일관성 향상과 분산 감소에 기여하는가?
• RQ5 LSR 프레임워크는 SISR를 초월한 다른 이미지 복원 작업으로 일반화될 수 있는가?

주요 결과

• LSR 기반 GAN은 ESRGAN과 SRGAN에 비해 뛰어난 시각적 품질과 구조적 정밀도를 달성하며, 결과적으로 더 선명한 질감과 더 적은 잡음을 보인다.
• CLSR 모델은 BSD100에서 평균 L1 오차 0.420, PIRM에서 0.429, Urban에서 0.436, Set14에서 0.444를 기록하여 모든 데이터셋에서 CESR을 초월한다.
• LSR 기반 모델에서 PSNR, SSIM, PI의 표준편차가 낮아, 테스트 세트 간에 더 일관된 성능을 보였다.
• CLSR 모델은 ESRGAN과 CESR 결과에서 지속되는 흐릿한 줄무늬와 날카롭지 않은 벽돌 벽면의 잡음과 같은 구조적 왜곡을 수정한다.
• LSR 방법은 상대적 적대적 손실과 코사인 유사도 기반의 문맥 손실을 사용할 경우 더 뛰어난 성능을 보이며, 이는 적대적 목표의 선택에 민감함을 시사한다.
• 단지 DIV2K 데이터셋만을 사용했음에도 불구하고 LSR 모델은 최첨단 성능을 달성하여 강력한 일반화 능력과 강인함을 보여준다.