[論文レビュー] Bounding the Test Log-Likelihood of Generative Models

Yoshua Bengio, Li Yao+1 more|arXiv (Cornell University)|Jan 1, 2014

Algorithms and Data Compression被引用数 5

ひとこと要約

本論文は、計算が困難な正規化定数や解析的未正規化密度関数のない生成モデルにおけるテスト対数尤度のより効率的な下界推定器を提案する。無限サンプルの極限において一貫性があり不偏な推定器を提供するとともに、有限サンプルにおける信頼性の高いモデル比較のためのバイアス付きバージョンを提示し、従来の非パラメトリック密度推定手法を改善する。

ABSTRACT

Abstract: Several interesting generative learning algorithms involve a complex probability distribution over many random variables, involving intractable normalization constants or latent variable normalization. Some of them may even not have an analytic expression for the unnormalized probability function and no tractable approximation. This makes it difficult to estimate the quality of these models, once they have been trained, or to monitor their quality (e.g. for early stopping) while training. A previously proposed method is based on constructing a non-parametric density estimator of the model's probability function from samples generated by the model. We revisit this idea, propose a more efficient estimator, and prove that it provides a lower bound on the true test log-likelihood, and an unbiased estimator as the number of generated samples goes to infinity, although one that incorporates the effect of poor mixing. We further propose a biased variant of the estimator that can be used reliably with a finite number of samples for the purpose of model comparison.

研究の動機と目的

• 計算が困難な正規化定数や解析的未正規化密度関数のない生成モデルの評価という課題に対処すること。
• このようなモデルにおける対数尤度推定のための従来の非パラメトリック密度推定手法を改善すること。
• 生成サンプル数が増加するに従い一貫性があり不偏となる真のテスト対数尤度の下界を提供すること。
• 有限サンプルサイズにおける信頼性の高いモデル比較が可能な実用的なバイアス付き推定器の開発

提案手法

• 訓練済みモデルから得たサンプルを用いて非パラメトリック密度推定を再考し、モデルの確率密度を推定する。
• 一貫性を保ちつつ真のテスト対数尤度の下界を提供する、より効率的な推定器を提案する。
• 生成サンプル数が無限に近づく極限において、混合が不十分であっても推定器が不偏であることを証明する。
• 有限サンプルサイズにおいても信頼性が保たれるバイアス付きバージョンを導入し、実用的なモデル比較を可能にする。
• カーネル密度推定や類似の非パラメトリック手法を用いて、生成サンプルから密度推定器を構築する。

実験結果

リサーチクエスチョン

• RQ1 計算が困難な正規化定数を伴う生成モデルのテスト対数尤度をバウンドするより効率的な非パラメトリック推定器を構築可能か？
• RQ2 提案された推定器は真のテスト対数尤度に対して有効な下界を提供するか？
• RQ3 生成サンプル数が無限に近づく極限において、推定器は不偏か？
• RQ4 有限サンプルサイズにおける信頼性の高いモデル比較が可能な、推定器のバイアス付きバージョンを設計可能か？

主な発見

• 提案された推定器は真のテスト対数尤度の下界を提供し、モデル品質の保守的評価を保証する。
• 生成サンプル数が無限に近づく極限において、混合が不十分であっても推定器は不偏である。
• 推定器のバイアス付きバージョンは有限サンプルにおけるモデル比較において信頼性が確認され、学習における実用的利用を可能にする。
• 本手法は、対数尤度評価のための従来の非パラメトリック密度推定アプローチに比べ、効率性が向上している。