[論文レビュー] Implicit Maximum Likelihood Estimation

Ke Li, Jitendra Malik|arXiv (Cornell University)|Sep 24, 2018

Gaussian Processes and Bayesian Inference参考文献 49被引用数 62

ひとこと要約

本論文は、暗黙的モデルのための尤度なしパラメータ推定法であるIMLEを導入し、特定の条件下で最大尤度に同等であることを示し、MNIST、TFD、CIFAR-10での有効性を実証する。

ABSTRACT

Implicit probabilistic models are models defined naturally in terms of a sampling procedure and often induces a likelihood function that cannot be expressed explicitly. We develop a simple method for estimating parameters in implicit models that does not require knowledge of the form of the likelihood function or any derived quantities, but can be shown to be equivalent to maximizing likelihood under some conditions. Our result holds in the non-asymptotic parametric setting, where both the capacity of the model and the number of data examples are finite. We also demonstrate encouraging experimental results.

研究の動機と目的

• 尤度が難解な場合の暗黙的確率モデルにおけるパラメータ推定の必要性を動機づける。
• 有限容量と有限サンプル仮定の下で最大尤度と同等である、単純な尤度なし推定量(IMLE)を提案する。
• IMLEがモード崩壊や学習不安定性といったGAN類似の一般的病理を回避できることを示す。
• 標準データセット（MNIST、Toronto Faces Dataset、CIFAR-10）上で定性的・定量的評価を通じてIMLEを実証する。

提案手法

• IMLEを定義する：データ例iごとにモデルの最も近いサンプルとの距離の期待値を最小化する。R_i^θ = min_j ||x_i - x~_j^θ||^2とする；IMLE目的はmin_θ E_{R_1^θ,...,R_n^θ}[sum_i R_i^θ]。
• 外側の反復ごとにP_θから独立同分布サンプルをm≥n個生成し、各データ点を最も近いサンプルと対応付ける；サンプルベースのIMLE目的関数に対してSGDでθを更新する。
• 効率のため最近傍探索を用い、距離ベースの目的がユークリッド距離または距離が意味を持つ埋め込みを用いることができる点に言及する。
• 定理1に記載される条件の下でIMLEがMLに対して尤度と同等であることの正当化を提供する（論文中に条件の概要を示す）。
• 他の距離指標や非ユークリッド埋め込みへの拡張、高速な最近傍法によるスケーラビリティに焦点を当てて議論する。

実験結果

リサーチクエスチョン

• RQ1 有限データと有限モデル容量の下で、尤度なし推定量が最大尤度と同等になり得るか？
• RQ2 IMLEはモード崩壊を防ぎ、GANのような尤度なし代替手法と比べて安定性を向上させるか？
• RQ3 標準的な画像データセットにおけるサンプル品質と多様性の観点でIMLEはどのように機能するか？
• RQ4 高次元データにIMLEをスケールさせる際の実務的考慮事項（最近傍探索、距離指標）とは何か？

主な発見

方法	MNIST	TFD
DBN (Bengio et al., 2013)	138±2	1909±66
SCAE (Bengio et al., 2013)	121±1.6	2110±50
DGSN (Bengio et al., 2014)	214±1.1	1890±29
GAN (Goodfellow et al., 2014)	225±2	2057±26
GMMN (Li et al., 2015)	147±2	2085±25
IMLE (Proposed)	257±6	2139±27

• IMLEはMNIST、Toronto Faces Dataset、CIFAR-10で競争力のあるサンプル品質と妥当な対数尤度推定を達成する。
• IMLEはモード崩壊を低減し、典型的なGANの病理なしに安定した訓練を提供しつつ、完全なリコールを維持する。
• Table 1は、IMLEとベースラインのテストデータの対数尤度（Gaussian Parzen ウィンドウ）をMNISTとTFDで示し、IMLEが高いスコアを達成している。
• IMLEは高品質なサンプルが必ずしも密度推定の不良を意味しないことを示している。
• 視覚化は、滑らかな内挿を伴う learned manifold を示し、訓練を通じてサンプルのシャープさが改善されていく。
• IMLEの最近傍マッチングは各データ例に近くのサンプルを割り当てることを保証し、モードの包括的なカバレージを支持する。