[論文レビュー] SUMO: Unbiased Estimation of Log Marginal Probability for Latent Variable Models

Yucen Luo, Alex Beatson+5 more|arXiv (Cornell University)|Apr 1, 2020

Adversarial Robustness in Machine Learning参考文献 62被引用数 9

ひとこと要約

この論文では、無限級数の確率的切り捨てを用いて、潜在変数モデルにおける対数周辺尤度の偏りのない推定器であるSUMOを提案する。従来の変分下界よりも高い精度で学習可能であり、同じ計算コストでより高いテストセット尤度を達成するとともに、エントロピー正則化や逆KL最小化といった偏りのない勾配を必要とするタスクをサポートする。

ABSTRACT

Standard variational lower bounds used to train latent variable models produce biased estimates of most quantities of interest. We introduce an unbiased estimator of the log marginal likelihood and its gradients for latent variable models based on randomized truncation of infinite series. If parameterized by an encoder-decoder architecture, the parameters of the encoder can be optimized to minimize its variance of this estimator. We show that models trained using our estimator give better test-set likelihoods than a standard importance-sampling based approach for the same average computational cost. This estimator also allows use of latent variable models for tasks where unbiased estimators, rather than marginal likelihood lower bounds, are preferred, such as minimizing reverse KL divergences and estimating score functions.

研究の動機と目的

• 潜在変数モデルの学習に用いられる標準的な変分下界に生じるバイアスを解消すること。
• 勾配ベース最適化に対応可能な対数周辺尤度の偏りのない推定器を開発すること。
• エントロピー正則化や逆KL最小化といった、偏りのない推定が不可欠な状況において、潜在変数モデルの有効な学習を可能にすること。
• 同じ計算コストで偏りのない推定が変分下界を上回ることを、テストセット尤度の観点から示すこと。

提案手法

• 対数周辺尤度の無限級数表現を確率的切り捨てすることで、偏りのない推定器を構築する。
• 周辺尤度の対数の級数展開に基づき、切り捨てを確率的にすることで不偏性を保証する。
• エンコーダ・デコーダアーキテクチャにおいて、エンコーダのパラメータを最適化することで推定器の分散を最小化できる。
• 推定器の勾配を用いて確率的最適化によりモデルを学習させ、エンドツーエンドの学習を可能にする。
• REINFORCEや他の勾配推定器に対応可能であり、強化学習や事後分布推論に適している。
• 深層ニューラルネットワークを用いた変分オートエンコーダなど、柔軟な非線形尤度を持つモデルに対しても適用可能である。

実験結果

リサーチクエスチョン

• RQ1 無限級数の切り捨てを用いて、潜在変数モデルの対数周辺尤度の偏りのない推定器を構築できるか？
• RQ2 提案手法の偏りのない推定器は、同じ計算コストで標準的な変分下界を上回るテストセット尤度を達成できるか？
• RQ3 エントロピー正則化強化学習など、偏りのない勾配を必要とするタスクにおいて、推定器が有効に機能するか？
• RQ4 推定器の分散はどのように振る舞い、モデルアーキテクチャの最適化によって低減可能か？
• RQ5 高次元の組合せ最適化タスクにおいて、推定器は安定的かつ効果的か？

主な発見

• SUMOで学習したモデルは、平均計算コストが同じ条件下で、重要度重み付きオートエンコーダ（IWAE）で学習したモデルよりも顕著に高いテストセット尤度を達成する。
• SUMO推定器は、エントロピー正則化強化学習において安定した学習を可能にし、IWAEがバイアスと不安定性のため失敗する状況でも有効である。
• 500変数の2次擬似ブール最適化において、SUMOに基づく潜在変数ポリシーは、独立型および自己回帰型ポリシーを上回り、高報酬領域への探索と収束が優れている。
• サンプリングが並列化可能であるため、SUMOベースのモデルは自己回帰型ポリシーと比較して19.2倍高速に学習可能であり、優れた性能を維持している。
• エントロピー正則化の下では、SUMOベースのモデルはIWAEを著しく上回り、非潜在変数の独立モデルと同等の性能に収束する。
• 本手法により、バイアスのため変分下界が不適切となるタスクにおいても、表現力が高く、サンプリングが容易な潜在変数モデルを効果的に利用可能になる。