[論文レビュー] Amortized Bayesian inference for clustering models

Ari Pakman, Liam Paninski|arXiv (Cornell University)|Nov 24, 2018

Bayesian Methods and Mixture Models参考文献 18被引用数 3

ひとこと要約

この論文は、クラスタ配置の対称性不変表現をニューラルネットワークを用いて条件付きクラスタ割り当て確率へマップする、アモアタイズドベイジアン推論手法であるニューラルクラスタリングプロセス（NCP）を導入する。この手法により、計算効率が1回のギブススイープと同等でありながら、高速で並列化可能で独立した事後分布サンプリングが可能となり、共役モデルおよび非共役モデルの両方に適用可能である。

ABSTRACT

We develop methods for efficient amortized approximate Bayesian inference over posterior distributions of probabilistic clustering models, such as Dirichlet process mixture models. The approach is based on mapping distributed, symmetry-invariant representations of cluster arrangements into conditional probabilities. The method parallelizes easily, yields iid samples from the approximate posterior of cluster assignments with the same computational cost of a single Gibbs sampler sweep, and can easily be applied to both conjugate and non-conjugate models, as training only requires samples from the generative model.

研究の動機と目的

• 高次元パrameter空間を有する非共役モデルにおいて、確率的クラスタリングモデルにおけるMCMC手法の計算非効率性を解消すること。
• 変分推論における精度保証の欠如を克服し、MCMCとディープラーニングの長所を組み合わせた手法を開発すること。
• 生成モデルのサンプルに基づくニューラルネットワークの学習を通じて、クラスタ割り当てのための高速でスケーラブルかつ並列化可能な事後分布サンプリングを可能にすること。
• クラスタ内、クラスタ間、および未割り当て点間の置換対称性を、不変表現によって保持すること。
• 生成モデルからのサンプルのみに依存する枠組みを構築し、ディリクレ過程混合モデルを含むさまざまなモデルタイプに一般化可能にする。

提案手法

• 各クラスタ $k$ に対して $H_k = \text{sum}(h(x_i))$ のような、クラスタ内要約 $H_k$ と、全クラスタ要約 $G = \text{sum}(g(H_k))$ を用いてクラスタ構成を分散的かつ対称性不変な特徴で表現する。
• 条件付き確率 $p(c_n | c_{1:n-1}, \textbf{x})$ を、$Q$ を未割り当て点の埋め込みの合計とし、$h_n = h(x_n)$ とし、$G_k$ を各可能なクラスタ割り当てについて計算するニューラルネットワーク $f(G_k, Q, h_n)$ でモデル化する。
• 真の事後分布における条件付き確率の期待負対数尤度を最小化するように、確率的勾配降下法によりニューラルネットワークのパラメータ $\theta$ を学習する。
• データポイントの置換 $\pi$ をサンプリングすることで、クラスタ再ラベル化における等変性行動を学習できるように、置換不変性を学習に活用する。
• 固定された $c_{1:n-1}$ に対して $c_{n:N}$ における正確な条件付き確率を計算することで、訓練目的の分散を低減するラオ＝ブラックウェル化を適用し、サンプル効率を向上させる。
• 学習済みネットワークを用いて、新しいデータのクラスタ割り当ての独立的かつGPU並列化可能な事後分布サンプルを生成し、逐次的なMCMCサンプリングを回避する。

実験結果

リサーチクエスチョン

• RQ1 MCMCと同等の精度を達成しつつ、高価なマルコフ連鎖更新を必要としない、計算効率の高いアモアタイズド推論手法をクラスタリングモデルに開発できるか？
• RQ2 クラスタ内、クラスタ間、および未割り当て点間の固有の置換対称性を尊重する、ニューラルネットワークベースの推論フレームワークをどのように設計できるか？
• RQ3 生成モデルからのサンプルのみに依存する学習において、共役モデルおよび非共役モデルの両方に一般化可能な程度はどの程度か？
• RQ4 事後分布サンプルの完全な並列化を可能にすることで、標準的なギブススイープに比べて顕著な高速化を達成できるか？
• RQ5 対称性不変表現とラオ＝ブラックウェル化された訓練を用いることで、クラスタ割り当て予測におけるニューラルネットワーク方策の収束性および安定性が向上するか？

主な発見

• ニューラルクラスタリングプロセス（NCP）は、分散の点でギブススイープと同等の性能を達成し、壁時計時間の大幅な短縮を実現した。
• NCPはGPU上で大規模な並列処理を可能にし、ギブススイープ（20,000サンプル、1000バーニングアップ）の平均実行時間を1969秒から184秒に短縮した。
• クラスタラベルおよびデータポイントの置換に対して、対称性不変性を維持しており、学習中およびモデルの予測においてもこれを監視・保持した。
• ラオ＝ブラックウェル化により、固定された $c_{1:n-1}$ に対して $c_{n:N}$ における正確な条件付き確率を計算することで、訓練目的の分散が低減され、サンプル効率が向上した。
• 訓練には生成モデルからのサンプルのみを必要とし、明示的な事後分布計算を必要としないため、共役モデルおよび非共役モデルの両方に適用可能である。
• 学習後、NCPは1回のギブススイープと同等の計算コストで、独立同一分布（i.i.d.）の事後分布サンプルを生成でき、スケーラブルな推論を可能にした。