[論文レビュー] Online but Accurate Inference for Latent Variable Models with Local Gibbs Sampling

Dupuy, Christophe, Bach, Francis|arXiv (Cornell University)|Mar 8, 2016

Domain Adaptation and Few-Shot Learning参考文献 34被引用数 30

ひとこと要約

本稿では、局所的ギブスサンプリングを用いた、潜在変数モデルにおける新しいオンライン推論手法を提案する。この手法により、大規模な設定下でも正確かつスケーラブルなパrameter推定が可能になる。逐次観測ごとにギブス更新を行うオンライン学習にマルコフ連鎖モンテカルロ（MCMC）手法を適応させることで、特に高次元の潜在空間を有するトピックモデル（LDA）において、変分推論やベイズ的手法よりも優れたテスト尤度を達成する。

ABSTRACT

We study parameter inference in large-scale latent variable models. We first propose an unified treatment of online inference for latent variable models from a non-canonical exponential family, and draw explicit links between several previously proposed frequentist or Bayesian methods. We then propose a novel inference method for the frequentist estimation of parameters, that adapts MCMC methods to online inference of latent variable models with the proper use of local Gibbs sampling. Then, for latent Dirich-let allocation,we provide an extensive set of experiments and comparisons with existing work, where our new approach outperforms all previously proposed methods. In particular, using Gibbs sampling for latent variable inference is superior to variational inference in terms of test log-likelihoods. Moreover, Bayesian inference through variational methods perform poorly, sometimes leading to worse fits with latent variables of higher dimensionality.

研究の動機と目的

• 非正規指数型分布族の枠組み内で、既存のオンライン推論手法を統一的かつ比較的に行うことを目的とする。
• 後退推論が困難なモデル（例：LDA）におけるオンラインパrameter推定のスケーラビリティと精度のギャップを解消することを目的とする。
• 局所的ギブスサンプリングを活用した、収束性と予測性能の向上を図る新しい頻度主義的オンライン推論手法を開発することを目的とする。
• 多様なデータセットにおいて、テスト尤度およびパープレキシティの観点から、最先端の手法と比較して、提案手法の実験的評価を行うこと。

提案手法

• 非正規指数型分布族におけるオンライン推論の統一的フレームワークを提案し、頻度主義的手法とベイズ的手法を結びつける。
• 1つの入力観測ごとに潜在変数を更新する、局所的ギブスサンプリングを用いた新しいオンラインアルゴリズムを導入する。
• オンラインストリームにおいて個々の観測にMCMCサンプリングを適用し、十分統計量を維持しながら、モデルパラメータを段階的に更新する。
• 局所的ギブスサンプルから得られる十分統計量を用いて、確率的近似スキームによりモデルパラメータを更新する。
• 各新しい観測が到来するたびに、局所的ギブス更新を実行した後、パラメータを更新する非i.i.d.データストリーム設定を採用する。
• ディリクレハイパーパrameter α に対して、固定点更新とガンマ事前分布更新の両方を採用し、各手法の性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 後退推論が困難な潜在変数モデルにおけるオンライン学習に、MCMCベースの推論をどのように適応できるか。
• RQ2 非正規指数型分布族の文脈において、既存のオンライン推論手法の主な違いと関連性は何か。
• RQ3 オンライン設定における局所的ギブスサンプリングは、予測性能（例：テスト尤度）において、変分推論を上回るか。
• RQ4 潜在変数の次元が、変分ベイズ推論とMCMCベースのオンライン推論の性能にどのように影響を与えるか。
• RQ5 LDAにおいて、オンラインギブスサンプリングは、最先端のオンライン変分推論よりも優れた収束性と低いパープレキシティを達成できるか。

主な発見

• 提案手法のオンラインギブスサンプリングは、すべてのデータセットおよびトピック次元において、変分推論を大きく上回る顕著な高いテスト尤度を達成する。
• LDAにおいて、本手法は、OLDA や SVB を含む、これまでに提案されたすべてのオンライン推論手法を、パープレキシティの観点から上回る。
• 変分ベイズ推論は、高次元の潜在空間では性能が著しく劣り、場合によっては低次元の場合よりも悪いフィットを示すことがある。
• ELBO（下界）は急速に収束し、内部反復回数を増やしても顕著に改善されないため、最適でない局所最大値に早期収束していることが示唆される。
• α に対して固定点更新を用いることで、ガンマ事前分布を用いる場合よりも優れた性能が得られ、特に G-OEM および G-OEM++ において顕著である。
• κ = 1/2 かつ α にガンマ更新を適用した手法は SPLDA に等しいが、κ = 1/2 を用いる場合、α の更新戦略にかかわらず性能が向上する。