[논문 리뷰] Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network

Christian Ledig, Lucas Theis외 9명|arXiv (Cornell University)|2016. 09. 15.

Advanced Image Processing Techniques참고 문헌 64인용 수 1,036

한 줄 요약

이 논문은 4× 확대에서 사진처럼 생긴 단일 이미지 초해상도 복원을 위한 생성적 적대적 네트워크인 SRGAN을 제안한다. VGG 특징 기반의 인지적 손실과 판별자로부터 유도된 적대적 손실을 조합함으로써, SRGAN은 실제 고해상도 이미지와 구분되지 않는 질감을 생성하며, 평균 의견 점수(MOS) 테스트를 통해 확인된 바와 같이, PSNR 최적화 방법에 비해 인지적 품질에서 뚜렷한 우월성을 보인다.

ABSTRACT

Despite the breakthroughs in accuracy and speed of single image super-resolution using faster and deeper convolutional neural networks, one central problem remains largely unsolved: how do we recover the finer texture details when we super-resolve at large upscaling factors? The behavior of optimization-based super-resolution methods is principally driven by the choice of the objective function. Recent work has largely focused on minimizing the mean squared reconstruction error. The resulting estimates have high peak signal-to-noise ratios, but they are often lacking high-frequency details and are perceptually unsatisfying in the sense that they fail to match the fidelity expected at the higher resolution. In this paper, we present SRGAN, a generative adversarial network (GAN) for image super-resolution (SR). To our knowledge, it is the first framework capable of inferring photo-realistic natural images for 4x upscaling factors. To achieve this, we propose a perceptual loss function which consists of an adversarial loss and a content loss. The adversarial loss pushes our solution to the natural image manifold using a discriminator network that is trained to differentiate between the super-resolved images and original photo-realistic images. In addition, we use a content loss motivated by perceptual similarity instead of similarity in pixel space. Our deep residual network is able to recover photo-realistic textures from heavily downsampled images on public benchmarks. An extensive mean-opinion-score (MOS) test shows hugely significant gains in perceptual quality using SRGAN. The MOS scores obtained with SRGAN are closer to those of the original high-resolution images than to those obtained with any state-of-the-art method.

연구 동기 및 목표

• 높은 확대 비율에서 미세한 질감 세부 정보를 복원하는 데에 한계를 가진 기존 초해상도 방법의 문제를 해결한다.
• 픽셀 수준 정확도를 인간의 시각적 충실도보다 우선시하는 평균 제곱 오차(MSE) 손실의 인지적 한계를 극복한다.
• 초해상도 출력을 자연 이미지의 다양체와 일치시킴으로써 사진처럼 생긴 이미지를 생성하는 딥 러닝 프레임워크를 개발한다.
• 인간의 평가로 측정된 인지적 품질이 기존의 PSNR/SSIM 지표를 뛰어넘어 크게 향상될 수 있음을 입증한다.

제안 방법

• 고수준 VGG 특징 맵 기반의 콘텐츠 손실과 판별자 네트워크로부터 유도된 적대적 손실을 조합한 새로운 인지적 손실 함수를 제안한다.
• 스킵 연결을 사용하여 학습을 안정화하고 특징 전파를 향상시키기 위해, 생성자로 깊이 있는 잔차 네트워크(SRResNet)를 훈련시킨다.
• 실제 고해상도 이미지와 생성자로부터 초해상도로 복원된 출력을 구분할 수 있도록 판별자 네트워크를 훈련시킨다.
• 생성자에 대해 병합된 손실을 최적화한다: VGG 기반의 인지적 손실은 구조적 콘텐츠를 유지하고, 적대적 손실은 질감의 현실감을 향상시킨다.
• 특히 고주파 수준의 세부 정보 합성을 위해 깊은 네트워크의 학습을 안정화시키기 위해 점진적 훈련 전략을 활용한다.
• 픽셀 수준의 차이가 아닌 고수준 의미적 특징에 집중하기 위해, VGG 네트워크의 더 깊은 층들(예: relu5_4)을 콘텐츠 손실에 사용한다.

실험 결과

연구 질문

• RQ1 기본 진짜 이미지가 제공되지 않는 상황에서도 생성적 적대적 네트워크가 4× 확대에서 사진처럼 생긴 초해상도 이미지를 생성할 수 있는가?
• RQ2 MSE 손실을 VGG 특징 기반의 인지적 손실로 대체할 경우 초해상도 이미지의 현실감과 인지적 품질이 향상되는가?
• RQ3 적대적 판별자가 인간의 인지에서 실제 고해상도 이미지와 구분되지 않는 출력을 생성하도록 생성자를 효과적으로 이끌 수 있는가?
• RQ4 PSNR와 SSIM가 초해상도 품질 평가에서 인간의 인지와 얼마나 상관이 없는가?
• RQ5 콘텐츠 손실에 사용되는 VGG 층의 선택이 최종 초해상도 이미지의 인지적 품질에 어떤 영향을 미치는가?

주요 결과

• SRGAN은 BSD100 데이터셋에서 평균 의견 점수(MOS) 4.46을 기록하여 모든 기준 방법을 뛰어넘었으며, 원본 고해상도 이미지의 MOS(4.46)와 거의 동일한 성능을 보였다.
• Set14 벤치마크에서 SRGAN은 MOS 3.72를 기록하여 다음으로 우수한 방법(SRResNet)보다 0.76점 높았으며, MOS 차이가 모두 유의미했다.
• BSD100에서 SRGAN은 PSNR 27.58 dB, SSIM 0.7620을 기록하여 SRResNet(27.58 dB PSNR, 0.7620 SSIM)을 능가했지만, 핵심적인 우월성은 PSNR가 아니라 인지적 품질에 있었다.
• 적대적 손실은 질감의 현실감을 크게 향상시켰다: 시각적 비교 결과, SRGAN은 MSE 최적화 모델에서 부족했던 날카우며 세밀한 질감을 생성했다.
• 콘텐츠 손실 층으로 VGG54(relu5_4)를 사용할 경우 가장 인지적으로 설득력 있는 결과를 얻었으며, VGG22와 같은 浅층보다 우수했다.
• 더 깊은 네트워크(B > 16)는 성능 향상을 가져왔지만, 학습의 불안정성과 고주파 잡음 아티팩트를 유발하여 깊이와 학습 안정성 사이의 상충 관계를 보였다.