[論文レビュー] A note on the evaluation of generative models

Lucas Theis, Aäron van den Oord+1 more|arXiv (Cornell University)|Nov 5, 2015

Generative Adversarial Networks and Image Synthesis参考文献 32被引用数 435

ひとこと要約

この論文は、生成画像モデルの一般的な評価指標を批判し、高次元データにおいて対数尤度、視覚的サンプル品質、Parzenウィンドウ推定値がほとんど独立していることを示している。高い尤度が良いサンプルを意味するとは限らず、逆もまた同様であり、Parzenウィンドウ推定値は劣ったモデルを真のデータ分布よりも高く評価する可能性があると警告している。

ABSTRACT

Probabilistic generative models can be used for compression, denoising, inpainting, texture synthesis, semi-supervised learning, unsupervised feature learning, and other tasks. Given this wide range of applications, it is not surprising that a lot of heterogeneity exists in the way these models are formulated, trained, and evaluated. As a consequence, direct comparison between models is often difficult. This article reviews mostly known but often underappreciated properties relating to the evaluation and interpretation of generative models with a focus on image models. In particular, we show that three of the currently most commonly used criteria---average log-likelihood, Parzen window estimates, and visual fidelity of samples---are largely independent of each other when the data is high-dimensional. Good performance with respect to one criterion therefore need not imply good performance with respect to the other criteria. Our results show that extrapolation from one criterion to another is not warranted and generative models need to be evaluated directly with respect to the application(s) they were intended for. In addition, we provide examples demonstrating that Parzen window estimates should generally be avoided.

研究の動機と目的

• 高次元データにおける生成モデルの主な評価指標の間の相関がないことを明らかにすること。
• 良好なサンプル品質が高尤度を意味する、あるいはその逆を意味すると仮定することの誤りを挑戦すること。
• Parzenウィンドウ推定値が信頼性が低く、真の尤度が低いモデルを優遇する可能性があることを実証すること。
• 生成モデルの評価においてParzenウィンドウ推定値を代理指標として使用することに反対すること。
• 評価は代替指標に依存するのではなく、目的の応用に適合するべきであることを強調すること。

提案手法

• 著者たちは、合成データおよび実世界の画像データ（例：CIFAR-10およびMNIST）を用いて、対数尤度、生成サンプルの視覚的忠実度、Parzenウィンドウ推定値の関係を分析した。
• Kullback-Leibler散発、MMD、JSDを最適化する異なる目的関数で訓練されたモデルを、混合ガウス分布上で比較することで、最適化行動の相違を示した。
• CIFAR-10の小さな画像パッチ（6×6）に対してParzenウィンドウ推定値を計算し、真の対数尤度に対する収束性とバイアスを評価した。
• クラスターセンタ−にゼロノイズのガウス分布を配置したk-meansベースのモデルを構築し、Parzen推定値のロバストネスをテストした。
• GAN、VAE、自己回帰モデルを含むさまざまなモデルの性能を、MNISTにおけるParzenウィンドウ推定値を用いて評価した。
• 理論的分析と実験的評価の両方を用いて、サンプル品質やParzen推定値といった指標が真の尤度と相関しないことを示した。

実験結果

リサーチクエスチョン

• RQ1 高次元画像データにおいて、対数尤度、視覚的サンプル品質、Parzenウィンドウ推定値の間にはどの程度相関があるか？
• RQ2 真の対数尤度が低いモデルでも、Parzenウィンドウ推定値のスコアが高くなることは可能か？
• RQ3 生成サンプルの視覚的忠実度が高いことは、高尤度または良好な一般化を意味するのか？
• RQ4 なぜParzenウィンドウ推定値は真のデータ分布を最良のモデルとして正しくランク付けしないのか？
• RQ5 単純なk-meansモデルが、Parzenウィンドウ評価において真のデータ分布を上回る性能を示せるか？

主な発見

• CIFAR-10の6×6パッチにおけるParzenウィンドウ推定値は、真の対数尤度に近づくために現実的ではないほど多くのサンプルを必要とし、高次元における収束性の悪さを示している。
• ノイズのないガウス分布をクラスターセンタ−に配置したk-meansベースのモデルは、MNISTにおいて243 natの真のデータ分布を上回る313 natのParzenウィンドウ推定値を達成した。
• GMMN+AEモデルは真のデータ分布（282 vs. 243 nat）よりも高いParzenウィンドウスコアを獲得しており、Parzen推定値がモデルを誤ってランク付けする可能性があることを示している。
• KLDで最適化されたモデルは、JSDやMMDで最適化されたモデルよりも、より特異なサンプルを生成することが示され、指標間のトレードオフを示している。
• 視覚的サンプル品質は対数尤度の良い代理指標ではない：高エントロピー（低尤度）のモデルでも、視覚的に妥当なサンプルを生成できる。
• 3つの主な評価基準（対数尤度、サンプル忠実度、Parzen推定値）のどのペairに対しても一貫した相関がないことが判明し、高次元設定下での独立性を強調している。