[論文レビュー] Scaling Nonparametric Bayesian Inference via Subsample-Annealing

Fritz Obermeyer, Jonathan Glidden+1 more|arXiv (Cornell University)|Feb 22, 2014

Bayesian Methods and Mixture Models参考文献 14被引用数 7

ひとこと要約

この論文は、逐次的にデータの部分集合を拡大しながら、増加する部分集合サイズでギブスサンプリングを実行することで、非パラメトリックベイズ推論を高速化する、新しいMCMC手法であるサブサンプルアニーリングを紹介する。これは、擬似アニーリングを効果的に模倣する。特定のモデルでは混合時間に指数関数的高速化を達成し、US国勢調査やネットワークログなど大規模データセットにおいて、標準的なギブスサンプリングよりも正確さとウォールクロック時間の比で優れている。

ABSTRACT

We describe an adaptation of the simulated annealing algorithm to nonparametric clustering and related probabilistic models. This new algorithm learns nonparametric latent structure over a growing and constantly churning subsample of training data, where the portion of data subsampled can be interpreted as the inverse temperature beta(t) in an annealing schedule. Gibbs sampling at high temperature (i.e., with a very small subsample) can more quickly explore sketches of the final latent state by (a) making longer jumps around latent space (as in block Gibbs) and (b) lowering energy barriers (as in simulated annealing). We prove subsample annealing speeds up mixing time N^2 -> N in a simple clustering model and exp(N) -> N in another class of models, where N is data size. Empirically subsample-annealing outperforms naive Gibbs sampling in accuracy-per-wallclock time, and can scale to larger datasets and deeper hierarchical models. We demonstrate improved inference on million-row subsamples of US Census data and network log data and a 307-row hospital rating dataset, using a Pitman-Yor generalization of the Cross Categorization model.

研究の動機と目的

• 特にディリクレ過程混合モデルやクロス分類モデルのような離散的モデルにおける非パラメトリックベイズ推論のスケーラビリティのボトルネックを解消すること。
• 複雑なモデルにおける潜在状態間の高いエネルギー障壁により、標準的なギブスサンプリングが混合が遅くなる問題を克服すること。
• データ部分集合化とアニーリングを組み合わせた、原理的かつ実装が簡単なギブスサンプリングの拡張を構築し、速度と正確さのバランスを取ること。
• 初期の近似推論が、完全なデータにおける正確な事後分布のサンプルへの収束をより速く可能にすることを示すこと。
• 理論的および実験的証拠を提示し、ウォールクロック時間あたりの推論品質という観点から、サブサンプルアニーリングが推論効率を向上させることを示すこと。

提案手法

• 時間tにおける部分集合サイズを逆温度β(t)として扱うことで、擬似アニーリングの原則を応用し、潜在構造の段階的精錬を可能にする。
• ギブスサンプリングを2つの操作に分離する：データポイントの削除とその再割り当ての再サンプリング。これにより、動的サブサンプリングとデータの入れ替えが可能になる。
• 時間の経過とともに部分集合サイズを段階的に増加させ、初期は小さなサイズで高温（高β）状態にあり、潜在空間を広く探索する。
• アニーリングスケジュール中に定期的にハイパーパrameter推論を実行し、初期化が悪くならないようにし、収束を改善する。
• 線形アニーリングスケジュールを採用し、最終段階ではすべてのN個のデータポイントを使用する。これにより、極限において真の事後分布に収束することが保証される。
• ランジュバンダイナミクスや正則化との関連を活用し、サブサンプルアニーリングがエネルギー、ステップサイズ、事前分布重みを同時にアニーリングしていることを示す。

実験結果

リサーチクエスチョン

• RQ1 サブサンプルアニーリングは、標準的なギブスサンプリングと比較して、非パラメトリックベイズモデルにおける混合時間を顕著に短縮できるか？
• RQ2 小さなデータ部分集合での初期の近似推論が、完全データにおける正確な事後分布サンプルへの収束をより速く可能にするか？
• RQ3 サブサンプルアニーリングが、混合時間において指数的または多項式的高速化を達成するモデルクラスやデータ環境は何か？
• RQ4 実世界のデータセットにおいて、サブサンプルアニーリングはナーブなギブスサンプリングと比較して、ウォールクロック時間あたりの正確さで優れているか？
• RQ5 事後分布のランドスケープにおけるエネルギー障壁と仮説ギャップが、サブサンプルアニーリングの有効性に与える影響は何か？

主な発見

• 単純なクラスタリングモデルでは、理論的に混合時間のN²からNへの高速化を達成し、他のクラスのモデルではexp(N)からNへの高速化を達成している。
• 実験的に、サブサンプルアニーリングは、ミリオンレコード規模のUS国勢調査およびネットワークログデータセットにおいて、ナーブなギブスサンプリングを正確さとウォールクロック時間の比で上回っている。
• この手法は、より深い階層的モデルおよび307行の病院評価データセット（クロス分類モデルのピタマン＝ヨア一般化を用いて）にも成功裏にスケーリングしている。
• エネルギー障壁δが大きく、仮説間のエネルギーギャップγが中程度のとき、スピードアップが顕著に現れ、高温での観察可能な遷移が可能になる。
• レアな外れ値（例：ネットワーク侵入イベント）を含むデータセットでは性能が低下し、サブサンプルの代表性に敏感であることが示唆された。
• ストラティフィイドサブサンプリングは外れ値の影響を緩和できる可能性があり、潜在的仮説間の障壁が高いため、構造学習の分野でも有望である。