[論文レビュー] Evaluating Lossy Compression Rates of Deep Generative Models

Sicong Huang, Alireza Makhzani+2 more|arXiv (Cornell University)|Aug 15, 2020

Generative Adversarial Networks and Image Synthesis被引用数 13

ひとこと要約

本稿では、深層生成モデルの包括的評価フレームワークとしてレート・ディストーション（RD）曲線の使用を提案し、アニールド重要度サンプリング（AIS）を用いることで、単一のログ尤度推定と同等の計算コストでRD曲線全体を近似可能であることを示している。主な貢献は、VAEが損失なし性能では優れているものの、低レートの損失あり圧縮では性能が低下するのに対し、GANは幅と深さを増すことで、特に低レート領域でも優れた性能を維持することを明らかにしたことである。これは、ログ尤度やFIDといったスカラー指標では捉えきれない、より豊かなイン사이트を提供する。

ABSTRACT

The field of deep generative modeling has succeeded in producing astonishingly realistic-seeming images and audio, but quantitative evaluation remains a challenge. Log-likelihood is an appealing metric due to its grounding in statistics and information theory, but it can be challenging to estimate for implicit generative models, and scalar-valued metrics give an incomplete picture of a model's quality. In this work, we propose to use rate distortion (RD) curves to evaluate and compare deep generative models. While estimating RD curves is seemingly even more computationally demanding than log-likelihood estimation, we show that we can approximate the entire RD curve using nearly the same computations as were previously used to achieve a single log-likelihood estimate. We evaluate lossy compression rates of VAEs, GANs, and adversarial autoencoders (AAEs) on the MNIST and CIFAR10 datasets. Measuring the entire RD curve gives a more complete picture than scalar-valued metrics, and we arrive at a number of insights not obtainable from log-likelihoods alone.

研究の動機と目的

• 生成モデルの評価におけるスカラー指標（ログ尤度やFID）の限界、特にGANのような暗黙的モデルに対しての限界を解消すること。
• 深層生成モデルの全レート・ディストーション（RD）曲線を、計算コストを最小限に抑えて推定するための効率的で実用的な手法を開発すること。
• 圧縮レートと再構成忠実度のトレードオフを捉える、より包括的かつ理論的根拠に基づいた評価フレームワークを提供すること。
• ログ尤度だけでは見えないモデルの挙動、特に低レート領域における性能劣化のメカニズムを明らかにすること。

提案手法

• 潜在変数の非正規化事後分布の正規化定数を推定するために、アニールド重要度サンプリング（AIS）を活用し、これはレート・ディストーション分析に必要な分布に対応する。
• ガウス分布観測モデルを仮定し、分散を変化させることで、レート・ディストーション関数を一連の事後分布の族として扱い、AISによる推定を可能にする。
• AISによるRD曲線推定が上界であることを証明し、シミュレートデータ上で双方向モンテカルロ（BDMC）を用いてそのタイトネスを検証した。
• ログ尤度推定に使用する同一のAIS計算パイプラインを応用することで、追加の計算コストを最小限に抑えながら、全RD曲線を同時に近似可能とした。
• 視覚的知覚に配慮した歪み指標（例：深層特徴量のMSE、SSIM）を用いて、歪み定義の違いにどう対応するかを評価した。
• VAEやGANのような多モード事後分布を有するモデルに対して、AIS推定と変分近似の精度を比較し、推定手法の正確さを評価した。

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルの全レート・ディストーション（RD）曲線を、顕著な計算コストを増やさずに効率的に推定する方法は何か？
• RQ2 スカラー指標（例：ログ尤度やFID）では見えないが、全RD曲線によって明らかにされるモデル挙動のインサイトは何か？
• RQ3 VAE、GAN、AAEは、コードサイズやネットワークの深さを変化させた際に、どのようにレート・ディストーショントレードオフを示すか？
• RQ4 歪み指標の選択（例：ピixeL単位のMSE vs. 深層特徴量のMSE）が、RD曲線の解釈に顕著な影響を与えるか？
• RQ5 多様な事後分布構造（例：GANのような複雑な事後分布）を持つモデルに対して、変分近似と比較してAISのRD曲線推定の正確さはどの程度か？

主な発見

• コードサイズを大きくしたVAEは損失なし圧縮では優れた性能を示すが、損失あり圧縮の低レート領域では顕著な性能劣化を示す。
• GANは全レート・ディストーションスケールで優れた性能を維持しており、ネットワークの幅を広げると曲線が左にずれ、深さを増すと下にずれる。
• RD曲線の分析により、特に幅を広げた高容量GANは、高レートでも低い歪みを達成しつつ、低レート性能を損なわないことが明らかになった。
• 多様なモードを持つ事後分布のため、変分近似はGANに対して信頼できる境界を提供できないが、VAEのようなより扱いやすい事後分布を持つモデルでは、良好な性能を示す。
• ピクセル単位のMSEと深層特徴量のMSEといった異なる歪み指標に対しても、RD曲線の形状は一貫しており、分析の整合性とロバストネスを示している。
• 特にGANのような暗黙的モデルでは、変分手法に比べてAISがよりタイトで正確なRD曲線推定を提供しており、変分境界が誤解を招くことがある。