[論文レビュー] Learning Discrete Distributions by Dequantization

Emiel Hoogeboom, Taco Cohen+1 more|arXiv (Cornell University)|Jan 30, 2020

Generative Adversarial Networks and Image Synthesis参考文献 29被引用数 16

ひとこと要約

本稿では、深層密度モデルにおける量子化解除のための一般化された潜在変数フレームワークを提案し、重要度重み付きおよびRényi量子化解除目的関数、および柔軟性を向上させるための自己回帰的量子化解除（ARD）を導入する。ARDは、サンプリング時に自己回帰的逆関数を必要とせず、CIFAR10において3.06ビット/次元の最先端の負の対数尤度を達成しており、従来の非自己回帰的モデルよりも顕著に優れている。

ABSTRACT

Media is generally stored digitally and is therefore discrete. Many successful deep distribution models in deep learning learn a density, i.e., the distribution of a continuous random variable. Naïve optimization on discrete data leads to arbitrarily high likelihoods, and instead, it has become standard practice to add noise to datapoints. In this paper, we present a general framework for dequantization that captures existing methods as a special case. We derive two new dequantization objectives: importance-weighted (iw) dequantization and Rényi dequantization. In addition, we introduce autoregressive dequantization (ARD) for more flexible dequantization distributions. Empirically we find that iw and Rényi dequantization considerably improve performance for uniform dequantization distributions. ARD achieves a negative log-likelihood of 3.06 bits per dimension on CIFAR10, which to the best of our knowledge is state-of-the-art among distribution models that do not require autoregressive inverses for sampling.

研究の動機と目的

• 離散空間と連続空間の位相的差異のため、離散データ上で連続密度モデルを最尤推定すると、尤度が無限大に発散するという根本的問題に対処すること。
• 既存の手法を一般化し、離散データのより柔軟で効果的なモデリングを可能にする、統一された量子化解除フレームワークの構築。
• 標準的な変分推論を超えて、重要度重み付きおよびRényi量子化解除という新しい目的関数を導入することで、離散分布の尤度推定を向上させること。
• 自己回帰的フロー（ARD）を用いて量子化解除の柔軟性を高め、サンプリング時に逆操作を必要としないまま、よりタイトな変分下界と優れた密度モデリングを実現すること。
• バイナリMNISTおよびCIFAR10を対象として、量子化解除の柔軟性と目的関数選択の影響を尤度性能に与える影響を実験的に評価すること。

提案手法

• 本稿では、離散データ x が学習された条件付き分布 q(v|x) を介して量子化解除され、v が連続的潜在変数を表す、潜在変数モデルとして量子化解除を定式化する。
• 2つの新しい量子化解除目的関数を導入する：複数サンプルを用いて変分下界をタイトにする重要度重み付き（iw）量子化解除、および変分Rényi発散に基づくRényi量子化解除。
• 自己回帰的量子化解除（ARD）を柔軟な量子化解除分布として提案し、サンプリング時に逆操作を必要としない自己回帰的フローを用いて q(v|x) をモデリングする。
• 密度モデルには、Glow や RealNVP などの既存のノーマライジングフロー・アーキテクチャを活用し、1×1畳み込みとスケール変換を追加するが、ARD部は量子化解除専用に使用する。
• 異なる目的関数（vi, iw, Rényi）と量子化解除分布（一様、正規、ARD）を組み合わせた学習が可能であり、ELBO および重要度重み付き対数尤度推定を用いて評価する。
• モデルは勾配降下法を用いてエンドツーエンドで学習され、最終モデルからのサンプリングでは自己回帰的コンポonentの逆操作が行われない。これは、量子化ノイズが逆変換されないためである。

実験結果

リサーチクエスチョン

• RQ1 変分推論、重要度重み付き、Rényi の各量子化解除目的関数は、離散データにおける対数尤度性能でどのように比較されるか？
• RQ2 量子化解除分布の柔軟性を高めることで、変分下界のタイトさと尤度推定の精度はどの程度向上するか？
• RQ3 自己回帰的量子化解除（ARD）は、サンプリング時に自己回帰的逆操作を必要としない状況で、最先端の対数尤度を達成できるか？
• RQ4 より複雑な量子化解除目的関数や分布を使用する際の、計算コストと性能のトレードオフはいかほどか？
• RQ5 特にバイナリMNISTのような低ビット深度データにおいて、量子化解除手法はどのように性能を発揮するか？

主な発見

• 自己回帰的量子化解除（ARD）は、CIFAR10で3.06ビット/次元という負の対数尤度を達成しており、著者らの知る限り、サンプリング時に自己回帰的逆操作を必要としないモデルの中で、最先端の結果である。
• 重要度重み付きおよびRényi量子化解除目的関数は、一様分布や正規分布といった単純な量子化解除分布を用いた場合、標準的な変分推論よりも顕著に尤度性能が向上する。
• バイナリMNISTでは、viと比較してiwまたはRényi量子化解除を用いることで、1次元あたり0.20ビット（約12％の相対的改善）の向上が得られ、特に低ビット深度データにおいて顕著な利点が示された。
• ELBOおよび負の対数尤度の両面で、ARDは他の量子化解除手法を常に上回り、柔軟な量子化解除分布の価値を実証した。
• 著者らは、初期エポックではviで学習し、その後iwまたはRényi量子化解除で微調整することで、計算コストを削減しつつも高い性能が得られることを観察した。
• このフレームワークにより、サンプリング時に自己回帰的コンポーネントを逆算する必要がなく、ARDは実用的かつ効率的かつ強力な密度モデリングを実現できる。