[논문 리뷰] Autoregressive Quantile Networks for Generative Modeling

Georg Ostrovski, Will Dabney외 1명|arXiv (Cornell University)|2018. 06. 14.

Generative Adversarial Networks and Image Synthesis참고 문헌 36인용 수 34

한 줄 요약

이 논문은 전통적인 가능도 기반 손실 대신 분위수 회귀를 사용하여 시각적 품질을 향상시키면서도 높은 샘플 다양성을 유지하는 새로운 생성 모델링 방법인 자동회귀 은닉 분위수 네트워크(AIQN)를 소개한다. 자동회귀 네트워크를 통해 누적분포함수의 역함수를 모델링함으로써, AIQN은 모드 붕괴나 최적화 불안정성 없이 CIFAR-10과 ImageNet 32x32에서 최신 기준(FID 및 Inception 점수)을 달성한다.

ABSTRACT

We introduce autoregressive implicit quantile networks (AIQN), a fundamentally different approach to generative modeling than those commonly used, that implicitly captures the distribution using quantile regression. AIQN is able to achieve superior perceptual quality and improvements in evaluation metrics, without incurring a loss of sample diversity. The method can be applied to many existing models and architectures. In this work we extend the PixelCNN model with AIQN and demonstrate results on CIFAR-10 and ImageNet using Inception score, FID, non-cherry-picked samples, and inpainting results. We consistently observe that AIQN yields a highly stable algorithm that improves perceptual quality while maintaining a highly diverse distribution.

연구 동기 및 목표

• 생성 모델링에서 시각적 품질과 샘플 다양성 사이의 상충 관계를 해결하기 위해.
• 시각적으로 의미 있는 메트릭을 고려하면서도 안정적이고 가능도 기반이 아닌 생성 모델링 방법을 개발하기 위해.
• 자기회귀 모델에서 KL 발산 대신 분위수 회귀를 사용하여 분포 정렬을 향상시키기 위해.
• 모드 붕괴나 하이퍼파rameter 민감도 없이 고품질이고 다양한 이미지 생성을 가능하게 하기 위해.
• 기존 아키텍처인 PixelCNN 및 VAE에 적용했을 때의 호환성과 성능 향상을 입증하기 위해.

제안 방법

• AIQN은 자동회귀 신경망을 사용하여 데이터 분포의 역누적분포함수(분위수 함수)를 모델링한다.
• 모델은 분위수 회귀 손실을 통해 훈련되며, 예측된 분위수에 대해 체크 손실을 최소화하여 진정한 조건부 분포를 근사한다.
• 조건부 분포는 자동회귀 인수분해를 통해 순차적으로 모델링되며, 각 픽셀은 이전에 생성된 픽셀에 조건을 받는다.
• 모델은 명시적 밀도 추정이나 가능도 계산 없이도 데이터 분포를 암묵적으로 정의한다.
• 이 방법은 Gated PixelCNN와 같은 기존 아키텍처와 호환되며, VAE 잠재 공간으로도 확장 가능하다.
• 분위수 회귀의 사용은 사전에 정의된 양자화 또는 경계 없이 연속형 변수를 모델링할 수 있게 한다.

실험 결과

연구 질문

• RQ1 분위수 회귀는 자기회귀 생성 모델링에서 KL 발산의 안정적이고 가능도 기반이 아닌 대체 수 Mittel로 사용될 수 있는가?
• RQ2 KL 손실을 분위수 회귀로 대체함으로써 시각적 품질은 향상되고 샘플 다양성은 유지되는가?
• RQ3 AIQN은 아키텍처 수정 없이 기존 자기회귀 모델인 PixelCNN에 효과적으로 적용될 수 있는가?
• RQ4 FID 및 Inception 점수 측면에서 AIQN은 CIFAR-10과 ImageNet과 같은 표준 벤치마크에서 어떻게 성능을 발휘하는가?
• RQ5 AIQN은 VAE의 잠재 공간 모델링으로 일반화되어 샘플 품질을 향상시킬 수 있는가?

주요 결과

• AIQN은 기준 PixelCNN 대비 CIFAR-10과 ImageNet 32x32에서 FID 및 Inception 점수를 크게 향상시켰다.
• 모드 붕괴 없이 다양한 샘플을 생성했으며, 다양한 하이퍼파rameter 설정에서도 동일하게 성능을 유지했다.
• 특히 선택되지 않은 샘플들 역시 AIQN에서 더 뛰어난 시각적 품질과 전반적인 일관성을 보였다.
• 완성(인painting) 결과에서는 AIQN이 기준 모델보다 더 현실적이고 맥락적으로 일관된 보완 결과를 생성했다.
• 모델은 하이퍼파rameter 변화에 대해 강건하며 복잡한 최적화 기법이 필요하지 않았다.
• CelebA 64×64에 대한 초도 결과에서는 AIQN이 VAE 잠재 공간에 효과적으로 적용되어 샘플링 품질을 향상시켰다.