[논문 리뷰] Emerging Convolutions for Generative Normalizing Flows

Emiel Hoogeboom, Rianne van den Berg외 1명|arXiv (Cornell University)|2019. 01. 30.

Generative Adversarial Networks and Image Synthesis인용 수 43

한 줄 요약

이 논문은 Emerging 및 주기적 컨볼루션과 QR 매개변수화된 1x1 컨볼루션을 통해 invertible 컨볼루션을 dxd 형태로 일반화하고 CIFAR-10, ImageNet, 은하 이미지에서 밀도 모델링 성능을 개선한 것을 보여준다.

ABSTRACT

Generative flows are attractive because they admit exact likelihood optimization and efficient image synthesis. Recently, Kingma & Dhariwal (2018) demonstrated with Glow that generative flows are capable of generating high quality images. We generalize the 1 x 1 convolutions proposed in Glow to invertible d x d convolutions, which are more flexible since they operate on both channel and spatial axes. We propose two methods to produce invertible convolutions that have receptive fields identical to standard convolutions: Emerging convolutions are obtained by chaining specific autoregressive convolutions, and periodic convolutions are decoupled in the frequency domain. Our experiments show that the flexibility of d x d convolutions significantly improves the performance of generative flow models on galaxy images, CIFAR10 and ImageNet.

연구 동기 및 목표

• 생성 흐름에서 1x1 컨볼루션을 넘어 가역 컨볼루션의 유연성을 개선한다.
• 수용 영역을 보존하는 emergent 및 주기적 컨볼루션을 도입한다.
• 안정적이고 유연한 QR 기반 1x1 컨볼루션 매개변수화를 제공한다.
• 표준 데이터세트에서 밀도 추정과 샘플링 효율의 개선을 입증한다.

제안 방법

• 표준 수용 영역에 맞추기 위해 자기회귀 컨볼루션을 연결하여 emergent 컨볼루션을 도입한다.
• 주파수 영역에서의 디커플링을 통해 계산되는 invertible periodic 컨볼루션을 제안한다.
• 안정적이고 유연한 1x1 가역 컨볼루션을 위한 QR 기반 매개변수화를 제시한다.
• 샘플링 속도를 높이기 위한 자기회귀 컨볼루션의 가속화된 역변환 모듈을 제공한다.
• Galaxy, CIFAR-10, 그리고 ImageNet 벤치마크에서 밀도 성능을 평가한다.

실험 결과

연구 질문

• RQ1 dxd emergent 및 periodic 컨볼루션이 1x1 컨볼루션과 비교하여 생성적 정규화 흐름의 표현력과 가능도를 향상시키는가?
• RQ2 가역적 dxd 컨볼루션은 더 큰 수용 영역을 제공하면서도 전형적인 야곱 행렬과 역을 계산 가능하게 유지하는가?
• RQ3 QR 기반의 1x1 컨볼루션이 PLU 매개화에 비해 안정성과 성능을 향상시키는가?

주요 결과

• 주기적 및 Emergent 3x3 컨볼루션이 Galaxy 밀도 모델링에서 이전의 1x1 컨볼루션보다 성능을 능가한다.
• Emerging 컨볼루션은 CIFAR-10 및 ImageNet에서 모델 규모에 따라 Glow에 필적하거나 그 이상을 달성한다.
• Emerging 컨볼루션은 순진한 자기회귀 역변환 및 MAF 기준선에 비해 샘플링 시간을 크게 단축한다.
• QR 1x1 컨볼루션은 표준 및 PLU 매개화와 비교해 안정성이 향상되면서 비슷한 성능을 달성한다.
• CIFAR-10 및 ImageNet(32x32) 전반에 걸쳐 emerging 컨볼루션은 특히 작은 모델에서 뚜렷한 이점을 제공한다.