[논문 리뷰] Deep Generative Image Models using a Laplacian Pyramid of Adversarial Networks

Emily Denton, Soumith Chintala외 2명|arXiv (Cornell University)|2015. 06. 18.

Generative Adversarial Networks and Image Synthesis참고 문헌 28인용 수 1,657

한 줄 요약

이 논문은 라플라시안 피라미드 기반의 조건부 생성 적대 신경망(GAN)의 조합을 사용하여 고해상도 자연 이미지를 합성하는 깊이 있는 생성 모델인 LAPGAN을 제안한다. 다중 척도에서 근본적으로부터 세밀한 방식으로 이미지를 생성함으로써, 각 수준이 이전 수준에 조건화되도록 하여 표준 GAN보다 훨씬 더 현실적인 샘플을 생성한다. CIFAR-10 샘플에서 인간의 오분류율이 40%에 달하는 반면, 표준 GAN은 10%에 머물렀다.

ABSTRACT

In this paper we introduce a generative parametric model capable of producing high quality samples of natural images. Our approach uses a cascade of convolutional networks within a Laplacian pyramid framework to generate images in a coarse-to-fine fashion. At each level of the pyramid, a separate generative convnet model is trained using the Generative Adversarial Nets (GAN) approach (Goodfellow et al.). Samples drawn from our model are of significantly higher quality than alternate approaches. In a quantitative assessment by human evaluators, our CIFAR10 samples were mistaken for real images around 40% of the time, compared to 10% for samples drawn from a GAN baseline model. We also show samples from models trained on the higher resolution images of the LSUN scene dataset.

연구 동기 및 목표

• 고차원 이미지 공간에서의 글로벌 생성 모델링의 한계를 극복하고, 확장 가능하고 고해상도의 자연 이미지 생성 모델을 개발한다.
• 자연 이미지의 다중 척도 구조를 활용하여 계층적 코어스-투-파인 생성 과정을 통해 샘플 품질을 향상시킨다.
• LSUN 및 CIFAR-10과 같은 복잡한 데이터셋에서 깊이 있는 생성 모델의 훈련과 샘플링을 향상된 시각적 정밀도로 가능하게 한다.
• 다중 척도에서 작동하는 조건부 GAN이 표준 GAN보다 더 현실적인 샘플을 생성할 수 있음을 보여준다.
• 인간 평가를 통해 샘플 품질을 정량화하여 이전의 GAN 기반 방법에 비해 현실감 향상의 명확한 개선을 입증한다.

제안 방법

• 이미지를 다중 척도로 분할하기 위해 라플라시안 피라미드 분해를 사용한다: 각 수준에서 저역통과 잔차와 밴드통과 세부 정보 층을 생성한다.
• 각 척도에서 별도의 조건부 GAN을 훈련하며, 생성자는 이전 수준의 저역통과 이미지를 조건으로 하여 고역통과 세부 정보를 생성한다.
• 생성자 네트워크는 임의의 노이즈 벡터와 코어스 이미지를 입력으로 받아 해당 척도에서 정교화된 이미지 세부 정보를 생성한다.
• 각 수준의 판별자 네트워크는 동일한 코어스 이미지를 조건으로 한 실제 이미지 패치와 생성된 패치를 구분한다.
• 샘플링은 먼저 저주파 수축 이미지를 생성한 후, 해당 수준의 생성자 네트워크를 순차적으로 사용하여 각 척도에서 이미지를 정밀하게 다듬는 방식으로 수행된다.
• 로그우도는 각 척도에서 파르젠 창 밀도 추정기를 사용하여 추정하며, 전체 밀도는 피라미드 수준 간의 조건부 밀도 곱으로 모델링된다.

실험 결과

연구 질문

• RQ1 조건부 GAN을 활용한 계층적 코어스-투-파인 생성 모델은 글로벌 GAN보다 더 높은 품질의 이미지 샘플을 생성할 수 있는가?
• RQ2 라플라시안 피라미드를 통해 다중 척도에서 이미지 구조를 모델링하면 샘플의 현실감과 다양성이 향상되는가?
• RQ3 조건부 GAN의 캐스케이드가 인간 관찰자가 생성된 이미지를 실제 이미지로 오인하는 데까지 얼마나 효과적인가?
• RQ4 제안된 모델의 성능은 기준 GAN 및 기타 깊이 있는 생성 모델과 비교해 보다 정량적으로 어떻게 평가되는가?
• RQ5 이 모델은 더 높은 해상도의 데이터셋인 LSUN으로 일반화되어 실제 장면 수준의 이미지를 생성할 수 있는가?

주요 결과

• 인간 평가자들은 CIFAR-10의 실제 이미지 중 60%만 정확히 식별할 수 있었으며, 이는 인간의 인지 한계가 높고 현실적인 샘플이 흔하지 않음을 시사한다.
• LAPGAN이 생성한 CIFAR-10 샘플은 인간에 의해 실제 이미지로 오인되는 비율이 40%에 달했으며, 이는 표준 GAN 기반 기준 모델의 10%보다 뚜렷이 높은 성능을 보였다.
• 클래스 조건부 LAPGAN 버전은 인간의 오분류율이 40%에 달했으며, 이는 생성된 샘플의 높은 현실감을 입증한다.
• 침실, 교회, 타워 등이 포함된 LSUN 데이터셋의 샘플들은 시각적으로 일관성 있고 현실적인 것으로 나타나, 더 높은 해상도 및 복잡한 장면으로의 확장 가능성을 보여준다.
• 모델의 계층적 구조는 반복적인 정밀 조정이 필요 없이 깊이 있는 합성곱 신경망의 캐스케이드를 통해 효율적인 순차적 샘플링을 가능하게 한다.
• 로그우도 추정 프레임워크는 다중 척도에서의 밀도 모델링을 지원하며, 전체 우도는 각 수준에서의 조건부 밀도 곱으로 계산된다.