[논문 리뷰] MaCow: Masked Convolutional Generative Flow

Xuezhe Ma, Xiang Kong외 2명|arXiv (Cornell University)|2019. 02. 12.

Generative Adversarial Networks and Image Synthesis참고 문헌 32인용 수 5

한 줄 요약

MaCow는 지역적으로 연결된 마스크 처리된 컨볼루션을 사용하여 빠르고 안정적인 훈련과 효율적인 샘플링을 달성하면서 Glow보다 밀도 추정 성능을 크게 향상시킨 마스크 처리된 컨볼루션 생성 흐름 아키텍처를 소개한다. CIFAR-10, LSUN, CelebA-HQ에서 최고의 가능도 점수를 기록하며, 변동형 디퀀타이제이션을 사용해 0.67 비트/차원에 도달했으며, 최고 성능을 기록한 자동회귀 모델인 SPN보다 0.06 비트/차원 뒤지지 않는다.

ABSTRACT

Flow-based generative models, conceptually attractive due to tractability of both the exact log-likelihood computation and latent-variable inference, and efficiency of both training and sampling, has led to a number of impressive empirical successes and spawned many advanced variants and theoretical investigations. Despite their computational efficiency, the density estimation performance of flow-based generative models significantly falls behind those of state-of-the-art autoregressive models. In this work, we introduce masked convolutional generative flow (MaCow), a simple yet effective architecture of generative flow using masked convolution. By restricting the local connectivity in a small kernel, MaCow enjoys the properties of fast and stable training, and efficient sampling, while achieving significant improvements over Glow for density estimation on standard image benchmarks, considerably narrowing the gap to autoregressive models.

연구 동기 및 목표

• SPN과 PixelSNAIL과 같은 최고 수준의 자동회귀 모델과의 흐름 기반 모델 간의 밀도 추정 성능 격차를 해소한다.
• 계산 효율성과 안정적인 훈련을 유지하면서 Glow의 가능도 추정 성능을 향상시킨다.
• 마스크 처리된 컨볼루션과 다중 해상도 아키텍처를 활용해 비자기회귀 가능도 기반 모델을 통해 고해상도 이미지 생성을 가능하게 한다.
• 흐름 기반 모델이 자동회귀 생성에 의존하지 않고도 경쟁 가능한 가능도와 고품질 샘플을 달성할 수 있음을 입증한다.
• 개선된 아키텍처 설계를 통해 흐름 기반 모델을 이산 및 순차적 데이터에 확장할 잠재력을 탐색한다.

제안 방법

• 학습 가능한 마스크를 사용해 작은 커널 내에서 국소 연결을 제한하는 마스크 처리된 컨볼루션 흐름(MaCow)을 제안하여, 역행성과 효율적인 변환을 보장한다.
• 회전 순서 마스크를 사용해 큰 수신 필드를 확보하면서도 국소 연결성과 안정적인 자코비안 행렬식 계산을 유지한다.
• 다양한 해상도에서 특징을 처리하는 세밀한 다중 해상도 아키텍처를 구현하여 표현 학습과 밀도 추정을 향상시킨다.
• 균일한 디퀀타이제이션과 변동형 디퀀타이제이션을 모두 통합하여 이산 픽셀 데이터의 가능도 추정을 향상시킨다.
• 정확한 가능도 계산을 가능하게 하고 트랙태블 자코비안 행렬식을 유지하기 위해 역행성 1×1 컨볼루션과 커파링 레이어를 적용한다.
• 흐름 기반 모델의 분석적 타당성을 활용해 확률적 최적화를 사용한 최대 가능도 목표로 훈련한다.

실험 결과

연구 질문

• RQ1 흐름 기반 생성 모델이 SPN과 PixelSNAIL과 같은 최고 수준의 자동회귀 모델과 경쟁 가능한 밀도 추정 성능을 달성할 수 있는가?
• RQ2 마스크 처리된 컨볼루션을 통한 국소 연결 제한이 흐름 기반 모델의 훈련 안정성, 샘플링 효율성, 가능도 성능에 어떤 영향을 미치는가?
• RQ3 비자기회귀 흐름 모델이 Glow나 WaveNet과 같은 자동회귀 모델과 비교해 고해상도 이미지를 얼마나 잘 생성할 수 있는가?
• RQ4 마스크 처리된 컨볼루션과 다중 해상도 아키텍처의 조합이 CIFAR-10, ImageNet, LSUN, CelebA-HQ와 같은 다양한 이미지 벤치마크에서 가능도 추정을 얼마나 향상시키는가?
• RQ5 변동형 디퀀타이제이션이 흐름 기반 모델과 자동회귀 모델 간의 가능도 점수 격차를 추가로 줄일 수 있는가?

주요 결과

• 균일한 디퀀타이제이션을 사용할 경우 MaCow는 CelebA-HQ(256×256)에서 Glow보다 0.08 비트/차원 향상된 로그 가능도를 기록하며, 0.95 비트/차원에 도달한다.
• 변동형 디퀀타이제이션을 사용할 경우 MaCow는 CelebA-HQ에서 0.67 비트/차원에 도달했으며, 최고 수준의 자동회귀 모델인 SPN보다 0.06 비트/차원 뒤지지 않는다.
• LSUN 침실 데이터셋에서 균일한 디퀀타이제이션을 사용할 경우 MaCow는 Glow보다 0.4 비트/차원 향상되었으며, 다양한 데이터셋에서 일관된 성능 향상을 보였다.
• MaCow의 이미지 생성 품질은 고해상도이며 자동회귀 모델과 경쟁 가능하며, 특히 온도를 낮춘 샘플링을 사용할 경우 더욱 뛰어나다.
• MaCow의 샘플링 속도는 Glow보다 7.3배 느리지만, MAF(600배)와 Emerging Convolutions(360배)보다는 훨씬 빠르며, 효율적인 추론을 보여준다.
• 모델의 합성 시간은 이미지 해상도에 따라 약 선형적으로 증가하며, CIFAR-10에서는 38.7ms에서 CelebA-HQ(256×256)에서는 434.2ms까지 증가한다.