[논문 리뷰] Learning Discrete Distributions by Dequantization

Emiel Hoogeboom, Taco Cohen외 1명|arXiv (Cornell University)|2020. 01. 30.

Generative Adversarial Networks and Image Synthesis참고 문헌 29인용 수 16

한 줄 요약

이 논문은 딥 밀도 모델에서의 dequantization을 위한 일반적인 잠재변수 프레임워크를 제안하며, 중요도 가중 및 R{\'e}nyi dequantization 목적함수와 더불어, 더 높은 유연성을 제공하는 순차적 dequantization(ARD)을 도입한다. ARD는 샘플링 시 순차적 역함수가 필요로 하지 않으며, CIFAR10에서 3.06 비트/차원의 최고 성능을 기록하여 이전의 비순차적 모델들보다 크게 슈퍼리어하다.

ABSTRACT

Media is generally stored digitally and is therefore discrete. Many successful deep distribution models in deep learning learn a density, i.e., the distribution of a continuous random variable. Naïve optimization on discrete data leads to arbitrarily high likelihoods, and instead, it has become standard practice to add noise to datapoints. In this paper, we present a general framework for dequantization that captures existing methods as a special case. We derive two new dequantization objectives: importance-weighted (iw) dequantization and Rényi dequantization. In addition, we introduce autoregressive dequantization (ARD) for more flexible dequantization distributions. Empirically we find that iw and Rényi dequantization considerably improve performance for uniform dequantization distributions. ARD achieves a negative log-likelihood of 3.06 bits per dimension on CIFAR10, which to the best of our knowledge is state-of-the-art among distribution models that do not require autoregressive inverses for sampling.

연구 동기 및 목표

• 이산 데이터에 대해 연속 밀도 모델을 최대우도 기반으로 학습할 경우, 이산 공간과 연속 공간 간의 위상적 차이로 인해 가능성이 무한히 커지는 기본 문제를 해결하기 위해.
• 기존 방법들을 일반화하고 이산 데이터의 더 유연하고 효과적인 모델링을 가능하게 하는 통합된 dequantization 프레임워크를 개발하기 위해.
• 기존의 변분 추론을 넘어서 새로운 dequantization 목적함수—중요도 가중 및 R{\'e}nyi dequantization—를 도입하여 이산 분포의 가능도 추정을 향상시키기 위해.
• 순차적 흐름(ARD)을 사용해 dequantization의 민감도를 높여, 샘플링 시 역연산이 필요로 하지 않으면서도 더 탴튼 변분 경계와 더 나은 밀도 모델링을 가능하게 하기 위해.
• 이진 MNIST와 CIFAR10에서의 가능도 성능에 대해 dequantization의 민감도와 목적함수 선택의 영향을 실험적으로 평가하기 위해.

제안 방법

• 논문은 이산 데이터 x가 학습된 조건부 분포 q(v|x)를 통해 잠재변수 v로 dequantization되는 잠재변수 모델로 dequantization를 공식화한다.
• 두 가지 새로운 dequantization 목적함수를 도입한다: 변분 하한을 강화하기 위해 다수의 샘플을 사용하는 중요도 가중(iw) dequantization, 그리고 변분 R{\'e}nyi 산란 기반의 R{\'e}nyi dequantization.
• 순차적 dequantization(ARD)는 샘플링 시 역연산이 필요로 하지 않기 때문에 유연한 dequantization 분포로 제안되며, q(v|x)를 모델링하기 위해 순차적 흐름을 사용한다.
• 기존의 정규화 흐름 아키텍처(Glow, RealNVP)를 사용하며, 밀도 모델에 1×1 컨볼루션과 스케일 변환을 추가하고, ARD 구성요소는 오직 dequantization에만 사용된다.
• 다양한 목적함수(vi, iw, R{\'e}nyi)와 dequantization 분포(균일, 정규분포, ARD)를 사용한 학습이 가능하며, ELBO와 중요도 가중 가능도 추정을 통해 평가된다.
• 모델은 경사하강법을 사용해 엔드 투 엔드로 학습되며, 최종 모델에서 샘플링 시 순차적 구성요소의 역연산이 필요로 하지 않으며, dequantization 노이즈는 역연산되지 않는다.

실험 결과

연구 질문

• RQ1 변분 추론, 중요도 가중, R{\'e}nyi 목적함수 간의 다른 dequantization 목적함수들이 이산 데이터에서 가능도 성능에 미치는 영향은 어떻게 비교되는가?
• RQ2 dequantization 분포의 민감도를 높일수록 변분 경계의 탄탄함과 가능도 추정의 정확도는 얼마나 향상되는가?
• RQ3 순차적 dequantization(ARD)가 샘플링 시 순차적 역함수가 필요로 하지 않으면서도 최고 성능의 가능도를 달성할 수 있는가?
• RQ4 더 복잡한 dequantization 목적함수와 분포를 사용할 경우 계산 비용과 성능 간의 상호 교환 관계는 어떻게 되는가?
• RQ5 특히 이진 MNIST와 같은 저비트 깊이 데이터셋에서 dequantization 방법은 어떻게 성능을 내는가?

주요 결과

• 순차적 dequantization(ARD)는 샘플링 시 순차적 역함수가 필요로 하지 않으며, CIFAR10에서 3.06 비트/차원의 음의 가능도를 기록했으며, 저자들의 지식으로는 이는 이에 해당하는 모델 중 최고 성능이다.
• 중요도 가중 및 R{\'e}nyi dequantization 목적함수는 균일 또는 정규분포와 같은 단순한 dequantization 분포를 사용할 때 표준 변분 추론보다 가능도 성능을 크게 향상시킨다.
• 이진 MNIST에서 vi 대비 iw 또는 R{\'e}nyi dequantization를 사용할 경우, 비트/차원당 0.20 비트의 향상(약 12% 상대적 향상)을 기록하여 저비트 깊이 데이터에 특히 유리함을 보였다.
• ELBO와 음의 가능도 측면에서 ARD는 다른 dequantization 방법들보다 일관되게 뛰어난 성능을 보이며, 민감한 dequantization 분포의 가치를 입증한다.
• 저자들은 초기 에포크 동안 vi로 학습하고, 이후 iw 또는 R{\'e}nyi dequantization로 미세조정하면 계산 비용을 줄이면서도 강력한 성능을 얻을 수 있음을 관찰했다.
• 이 프레임워크는 샘플링 시 순차적 구성요소를 역연산하지 않아도 고품질의 밀도 모델링이 가능하며, 실제로 ARD는 강력하면서도 효율적이다.