[論文レビュー] Slice sampling for general completely random measures

Peiyuan Zhu|arXiv (Cornell University)|Jan 1, 2020

Bayesian Methods and Mixture Models被引用数 2

ひとこと要約

この論文は、完全に無作為な測度に基づくモデルにおける事後推論のための一般化可能なスライスサンプリングアルゴリズムを導入する。補助スライス変数を用いた適応的切断により、モデルの柔軟性を損なわず、並列化可能な効率的な計算を実現する。この手法は、周辺化や固定切断アプローチと比較して、1秒あたりの有効サンプルサイズが高く、予測性能も優れている。

ABSTRACT

Completely random measures provide a principled approach to creating flexible unsupervised models, where the number of latent features is infinite and the number of features that influence the data grows with the size of the data set. Due to the infinity the latent features, posterior inference requires either marginalization---resulting in dependence structures that prevent efficient computation via parallelization and conjugacy---or finite truncation, which arbitrarily limits the flexibility of the model. In this paper we present a novel Markov chain Monte Carlo algorithm for posterior inference that adaptively sets the truncation level using auxiliary slice variables, enabling efficient, parallelized computation without sacrificing flexibility. In contrast to past work that achieved this on a model-by-model basis, we provide a general recipe that is applicable to the broad class of completely random measure-based priors. The efficacy of the proposed algorithm is evaluated on several popular nonparametric models, demonstrating a higher effective sample size per second compared to algorithms using marginalization as well as a higher predictive performance compared to models employing fixed truncations.

研究の動機と目的

• 無限個の潜在的特徴を伴う完全に無作為な測度に基づくモデルにおける事後推論の計算非効率性を解消すること。
• 固定切断による制限（モデルの柔軟性の制限）と周辺化による制限（並列化の障害）を克服すること。
• 完全に無作為な測度を用いる広範な非パラメトリックモデルに適用可能な汎用の推論アルゴリズムを開発すること。
• スライスサンプリングによる適応的切断を通じて、効率的でスケーラブルかつ柔軟な事後推論を実現すること。
• 既存の手法と比較して、計算効率（1秒あたりの有効サンプルサイズ）と予測性能の両方を向上させること。

提案手法

• 補助スライス変数を導入し、無限次元の完全に無作為な測度の適応的切断を可能にする連合事後分布を定義する。
• スライス変数と切断された測度成分を同時に更新するマルコフ連鎖モンテカルロサンプラーを構築し、適切な事後分布の探索を保証する。
• スライス変数によって誘発される条件付き独立構造を活用し、成分間で並列計算を可能にする。
• 事後密度に応じて自動的に切断レベルを調整するようにアルゴリズムを設計し、任意または固定のカットオフを回避する。
• 下位のレヴィ測度の一般的性質に依存することで、任意の完全に無作為な測度事前分布に対して有効であることを保証する。
• 詳細バランスと収束性を維持するため、スライス変数と測度成分の間を交互に更新するギブスに類似したサンプリングスキームを採用する。

実験結果

リサーチクエスチョン

• RQ1 固定切断や周辺化の欠点を避けることのできる、完全に無作為な測度に基づくモデルにおける汎用MCMCアルゴリズムを開発できるか？
• RQ2 スライスサンプリングによる適応的切断は、周辺化に基づく推論と比較して、1秒あたりの有効サンプルサイズを向上させるか？
• RQ3 提案手法は、固定された切断レベルを用いるモデルと比較して、予測性能を維持または向上させられるか？
• RQ4 このアルゴリズムは、非パラメトリックベイズモデルにおいて、効率的で並列化可能な計算をどの程度可能にするか？
• RQ5 スライスサンプリングアプローチは、完全に無作為な測度事前分布を備えた多様な非パラメトリックモデルにスケーラブルかつロバストに適用可能か？

主な発見

• 提案されたスライスサンプリングアルゴリズムは、周辺化に基づく推論手法と比較して、1秒あたりの有効サンプルサイズが高く、計算効率が向上していることが示された。
• データ駆動型の適応的切断により、固定された切断レベルを用いるモデルと比較して、優れた予測性能を示した。
• スライス変数によって誘発される条件付き独立構造を活用することで、効率的で並列化可能な計算が実現された。
• 任意の切断を避けることで、モデルの柔軟性を維持し、データサイズに応じて活性な特徴の数を増やすことが可能になった。
• 複数の非パラメトリックモデルにおける実験的評価により、アルゴリズムのロバスト性とスケーラビリティが、さまざまな推論タスクにおいて確認された。
• 一般化されたフレームワークは、完全に無作為な測度に基づくすべてのモデルに広く適用可能であり、モデル特有の解決策を超えて拡張可能である。