[論文レビュー] Fast Relative Entropy Coding with A* coding

Gergely Flamich, Stratis Markou+1 more|arXiv (Cornell University)|Jan 30, 2022

Generative Adversarial Networks and Image Synthesis被引用数 6

ひとこと要約

本稿では、連続分布における単峰性密度比を仮定した場合に、$ϵ(D_{\infty}[Q\|P])$ の期待ランタイムを達成するが、$ϵ(D_{\mathrm{KL}}[Q\|P])$ の期待コード長を維持する A*に基づく相対エントロピー符号化（REC）アルゴリズム、AS* および AD* 符号化を導入する。この手法により、提案された IsoKL VAE（IKVAE）を介して、量子化なしで MNIST においてほぼ最適な圧縮が実現可能となる、効率的で微分可能な圧縮が可能になる。

ABSTRACT

Relative entropy coding (REC) algorithms encode a sample from a target distribution $Q$ using a proposal distribution $P$, such that the expected codelength is $\mathcal{O}(D_{KL}[Q \,||\, P])$. REC can be seamlessly integrated with existing learned compression models since, unlike entropy coding, it does not assume discrete $Q$ or $P$, and does not require quantisation. However, general REC algorithms require an intractable $Ω(e^{D_{KL}[Q \,||\, P]})$ runtime. We introduce AS* and AD* coding, two REC algorithms based on A* sampling. We prove that, for continuous distributions over $\mathbb{R}$, if the density ratio is unimodal, AS* has $\mathcal{O}(D_{\infty}[Q \,||\, P])$ expected runtime, where $D_{\infty}[Q \,||\, P]$ is the Rényi $\infty$-divergence. We provide experimental evidence that AD* also has $\mathcal{O}(D_{\infty}[Q \,||\, P])$ expected runtime. We prove that AS* and AD* achieve an expected codelength of $\mathcal{O}(D_{KL}[Q \,||\, P])$. Further, we introduce DAD*, an approximate algorithm based on AD* which retains its favourable runtime and has bias similar to that of alternative methods. Focusing on VAEs, we propose the IsoKL VAE (IKVAE), which can be used with DAD* to further improve compression efficiency. We evaluate A* coding with (IK)VAEs on MNIST, showing that it can losslessly compress images near the theoretically optimal limit.

研究の動機と目的

• KL 発散に比例して指数的に増加する一般相対エントロピー符号化（REC）アルゴリズムの高いランタイムを解消すること。
• 連続的近似で学習し、離散的量子化で推論を行うことで生じる学習済み圧縮モデルにおける量子化不一致を克服すること。
• 連続分布に対して、保証された高速ランタイムと低コード長を実現する REC アルゴリズムの開発。特に変分オートエンコーダー（VAEs）に応用可能である。
• 可変長コードの符号化に起因するコード長オーバーヘッドを低減するため、固定コード長を用いたブロックベース符号化を導入すること。
• KL 発散と Rényi ∞-発散を用いて潜在分布をパラメータライズする IsoKL VAE（IKVAE）を提案し、DAD* を用いた効率的なブロック符号化を可能にする。

提案手法

• A*サンプリングに基づく REC アルゴリズムとしての AS* および AD* 符号化を導入し、提案分布 P からの効率的なサンプリングを実現することで、ターゲット分布 Q からのサンプルを符号化する。
• 単峰性密度比仮定の下で、AS* が $ϵ(D_{\infty}[Q\|P])$ の期待ランタイムを達成することを証明する。ここで $D_{\infty}[Q\|P]$ は Rényi ∞-発散を表す。
• DAD* を設計し、AD* の近似版として、ブロックごとのコード長を固定することでオーバーヘッドを低減。低バイアスと高速ランタイムを維持する。
• 潜在分布を $D_{\mathrm{KL}}[Q\|P]$ と $D_{\infty}[Q\|P]$ を用いてパラメータライズする IsoKL VAE（IKVAE）を提案。これにより、ブロック間でコード長を固定可能となる。
• 平均と分散に課される制約を満たすために、指数関数的および双曲線正接変換を用いた非制約再パラメータライズを実装。
• ガウス分布のパラメータライズにおける分散の計算にラマヌジャン・W関数を用い、数値的安定性と実用上の効率性を高めるためにパデ近似を適用。

実験結果

リサーチクエスチョン

• RQ1 A*に基づくサンプリングを用いて、連続分布に対して保証された高速ランタイムを持つ REC アルゴリズムを設計できるか？
• RQ2 単峰性密度比仮定のもとで、AS* が $ϵ(D_{\infty}[Q\|P])$ のランタイムバウンダリーを達成できるか？
• RQ3 正式な証明がないにもかかわらず、AD* は AS* と同等のランタイムスケーリングを達成できるか？
• RQ4 固定コード長を用いた近似 REC は、バイアスの増加を伴わずに、ブロックベース符号化におけるコード長オーバーヘッドを低減できるか？
• RQ5 潜在分布を $D_{\mathrm{KL}}[Q\|P]$ と $D_{\infty}[Q\|P]$ を用いてパラメータライズすることにより、DAD* を用いて効率的で低オーバーヘッドの圧縮が可能になるか？

主な発見

• 単峰性密度比仮定の下で、AS* は $ϵ(D_{\mathrm{KL}}[Q\|P])$ の期待コード長と $ϵ(D_{\infty}[Q\|P])$ の期待ランタイムを達成する。
• AD* は広範な実験的証拠に基づき、$ϵ(D_{\infty}[Q\|P])$ の期待ランタイムを示すが、正式な証明は提供されていない。
• AD* の近似版である DAD* は、AD* の高速ランタイムを維持しつつ、固定コード長によるブロック符号化によりコード長オーバーヘッドを低減する。
• IsoKL VAE（IKVAE）は、$D_{\mathrm{KL}}[Q\|P]$ と $D_{\infty}[Q\|P]$ を用いて潜在分布をパラメータライズすることで、ブロック間での効率的符号化を可能にし、変数ごとのコード長コストを低減する。
• MNIST において、DAD* と IKVAE の組み合わせは理論的最適限界に近い完全圧縮を達成し、実用的効率性を示している。
• パデ近似を用いたラマヌジャン・W関数の使用により、ガウス分布のパラメータライズにおける分散計算が数値的に安定かつ効率的に行えるようになった。