[논문 리뷰] Generative Adversarial Network based on Resnet for Conditional Image Restoration

Meng Wang, Huafeng Li외 1명|arXiv (Cornell University)|2017. 07. 16.

Generative Adversarial Networks and Image Synthesis참고 문헌 8인용 수 10

한 줄 요약

이 논문은 잔차 학습(ResNet)을 이미지 복원 작업에 통합한 조건부 생성 적대적 신경망인 ResGAN을 제안한다. 굵은 이미지와 클래스 레이블을 조건부 입력으로 사용하고 스킵 커넥션을 활용해 공간적 특징을 유지함으로써, ResGAN은 더 낮은 손실과 더 높은 정확도로 MNIST, CIFAR10/100, CelebA에서 최신 기술(SOTA) GAN들을 능가하는 우수한 이미지 품질과 안정성을 달성한다.

ABSTRACT

The GANs promote an adversarive game to approximate complex and jointed example probability. The networks driven by noise generate fake examples to approximate realistic data distributions. Later the conditional GAN merges prior-conditions as input in order to transfer attribute vectors to the corresponding data. However, the CGAN is not designed to deal with the high dimension conditions since indirect guide of the learning is inefficiency. In this paper, we proposed a network ResGAN to generate fine images in terms of extremely degenerated images. The coarse images aligned to attributes are embedded as the generator inputs and classifier labels. In generative network, a straight path similar to the Resnet is cohered to directly transfer the coarse images to the higher layers. And adversarial training is circularly implemented to prevent degeneration of the generated images. Experimental results of applying the ResGAN to datasets MNIST, CIFAR10/100 and CELEBA show its higher accuracy to the state-of-art GANs.

연구 동기 및 목표

• 이미지 복원 과정에서 고차원 조건을 처리하는 데 어려움을 겪고, 효율적인 특징 학습이 어려운 조건부 GAN(CGAN)의 한계를 해결하기 위해.
• 잔차 학습을 통해 굵은 이미지의 특징을 유지함으로써 생성된 이미지의 품질을 향상시키고, 깊은 네트워크에서 특징 열화를 방지하기 위해.
• 분류기를 디스커미네이터에 통합하여 조건부 감독을 통해 최적화를 더 잘 이끌고, 적대적 훈련의 안정성과 성능을 향상시키기 위해.
• 다양한 데이터셋에서 ResNet 아키텍처와 GAN을 조합한 조건부 이미지 복원의 효과를 평가하기 위해.
• 잔차 연결과 조건부 감독이 함께 작용할 때 생성 품질과 수렴성 향상이 어떻게 이루어지는지 보여주기 위해.

제안 방법

• 생성자는 굵은 이미지와 클래스 레이블을 입력으로 받아, 스킵 커넥션을 갖춘 잔차 신경망(ResNet) 아키텍처를 사용하여 저수준 특징을 깊은 층을 거쳐 직접 전달한다.
• 분류기를 디스커미네이터에 통합하여 추가적인 감독을 제공함으로써, 더 나은 최적화 가이드라인과 향상된 특징 학습을 가능하게 한다.
• 모드 붕괴를 방지하고 생성 과정 중 이미지 품질을 유지하기 위해 순환 방식의 적대적 훈련을 수행한다.
• 생성자와 디스커미네이터는 교차 최소화-최대화 게임 방식으로 훈련되며, 안정성을 향상시키기 위해 와서르스타인 거리 기반의 적대적 손실을 최소화한다.
• 생성자에서는 전치 컨벌루션을, 디스커미네이터에서는 스트라이드 컨벌루션을 사용하며, 훈련 안정성을 확보하기 위해 배치 정규화를 적용한다.
• 조건부 입력(클래스 레이블과 굵은 이미지)은 잔차 블록에서 융합되기 전에 별도의 스트림으로 처리되거나 결합되어 특징 학습을 이끌어낸다.

실험 결과

연구 질문

• RQ1 잔차 학습은 이미지 복원 과업에서 조건부 GAN의 성능을 향상시키는 데 기여하는가?
• RQ2 디스커미네이터에 분류기를 통합하면 생성된 이미지의 품질과 안정성에 어떤 영향을 미치는가?
• RQ3 스킵 커넥션은 깊은 생성 네트워크에서 이미지 복원 과정에서 공간적 특징을 얼마나 잘 유지하는가?
• RQ4 제안된 ResGAN은 표준 벤치마크에서 손실과 정확도 측면에서 최신 기술(GAN)을 능가하는가?
• RQ5 매우 열악한 입력(예: 극도로 굵은 이미지)에서도 모델은 어떤 성능을 보이는가?

주요 결과

• MNIST 데이터셋에서 ResGAN은 비교 모델 전부 중에서 가장 낮은 훈련 손실(1.98)과 가장 높은 정확도(0.938)를 기록했으며, GAN, DCGAN, WGAN, CGAN를 모두 능가했다.
• CIFAR10에서 ResGAN은 손실 2.97과 정확도 0.794를 기록했으며, DCGAN(4.66/0.831)과 WGAN(3.79/0.726)을 모두 초월했다.
• CIFAR100에서 ResGAN은 손실 6.55와 정확도 0.612를 기록했으며, CGAN(7.23/0.473)과 WGAN(7.98/0.384)에 비해 뚜렷한 승리를 거두었다.
• CelebA 데이터셋에서 ResGAN은 손실 10.57과 정확도 0.237을 기록했으며, 높은 입력 열악성에도 불구하고 복잡한 얼굴 복원 과업에서 강력한 성능을 보였다.
• 시각적 결과는 ResGAN이 극도로 굵은 입력에서도 이미지의 세부 정보를 성공적으로 복원하며, 모든 데이터셋에서 실제 이미지에 매우 가까운 현실적인 출력을 생성함을 보여주었다.
• 제거 분석 결과는 잔차 연결과 분류기 통합 디스커미네이터의 조합이 특징 유지 및 훈련 안정성 향상에 기여함을 확인했다.