[論文レビュー] Fast Learning of Clusters and Topics via Sparse Posteriors

Michael C. Hughes, Erik B. Sudderth|arXiv (Cornell University)|Sep 23, 2016

Bayesian Methods and Mixture Models参考文献 27被引用数 7

ひとこと要約

本稿では、各観測値に対して非ゼロ確率を割り当てるクラスタ数を最大L個に制限することで、混合モデルおよびトピックモデルの学習を著しく高速化するスパースな変分推論手法を提案する。予測性能を損なわず、K > 200クラスタを有する大規模データセットにおいて特に顕著な高速化が達成される。この手法は、密度型またはハードアサインメントベースラインと比較して収束が早く、ホールドアウト尤度が優れている。

ABSTRACT

Mixture models and topic models generate each observation from a single cluster, but standard variational posteriors for each observation assign positive probability to all possible clusters. This requires dense storage and runtime costs that scale with the total number of clusters, even though typically only a few clusters have significant posterior mass for any data point. We propose a constrained family of sparse variational distributions that allow at most $L$ non-zero entries, where the tunable threshold $L$ trades off speed for accuracy. Previous sparse approximations have used hard assignments ($L=1$), but we find that moderate values of $L>1$ provide superior performance. Our approach easily integrates with stochastic or incremental optimization algorithms to scale to millions of examples. Experiments training mixture models of image patches and topic models for news articles show that our approach produces better-quality models in far less time than baseline methods.

研究の動機と目的

• 混合モデルおよびトピックモデルにおける標準的な変分推論の高い計算コストおよびメモリ使用量を低減すること。特に、全Kクラスタに対して正の確率を割り当てる完全な後退分布が原因となる。
• 各観測値が最大L個の非ゼロクラスタ割り当てに制限されるスパースな変分後退を構築することにより、より高速な推論と低減されたメモリ使用量を実現すること。
• 中程度のスパースネス（L > 1）が、密度型推論（L = K）およびハードアサインメント（L = 1）と比較して、速度と予測精度の両面で優れていることを示すこと。
• 既存の変分推論フレームワークと互換性を保ちつつ、スケーリングを促進するための確率的またはインクリメンタル最適化を用いて、数百万例のスケールにまで効率的に拡張できること。

提案手法

• 各観測値の局所的後退分布 q(z_n) が最大L個の非ゼロ要素を持つ制約付きの変分族を導入し、責任スコアの上位L個を選択することで実現する。
• 標準的な変分目的関数に、1観測あたりの有効クラスタ数をLに制限するスパースネス制約を追加し、Lを調整可能なハイパーパrameterとして扱う。
• 効率的なC++アクセcelerated選択アルゴリズム（例：Blum-Floyd-Pratt）を用いて上位L責任スコアを計算し、高速かつスケーラブルな推論を実現する。
• 平均場変分推論（MVI）および確率的変分推論（SVI）の両方とシームレスに統合され、インクリメンタルおよびミニバッチ学習をサポートする。
• 変分目的関数下での上位L選択手順の最適性を証明し、Lスパース後退分布の中でKLダイバージェンスを最小化することを示す。
• 指数型分布族の尤度関数と共役事前分布を用いて、ガウス混合モデルおよびLDAに適用する。

実験結果

リサーチクエスチョン

• RQ1 各観測値に対して非ゼロ確率を割り当てるクラスタ数を最大L個に制限することで、混合モデルおよびトピックモデルにおける計算コストを著しく削減できるか、かつモデル品質が劣化しないか？
• RQ2 L = 1（ハードアサインメント）またはL = K（密度型後退）と比較して、L > 1の最適な値が速度と精度のバランスをより良く果たすか？
• RQ3 提案手法のスパース変分後退は、数十万～数百万の観測値および数千のクラスタを有する大規模データセットにどのようにスケーリングするか？
• RQ4 スパース後退アプローチは、アーキテクチャの変更なしに、既存の確率的およびインクリメンタル推論フレームワークに効率的に統合可能か？
• RQ5 変分目的関数下で、スパース後退のための上位L選択手順が、証明可能な最適近似を提供するか？

主な発見

• K = 200クラスタの場合、L = 8のスパース手法は密度型推論（L = K）と同等のホールドアウト尤度を達成したが、360万枚の画像パッチデータセットでは5倍以上も高速に学習完了を達成した。
• Wikipediaデータセット（K = 800）では、MVIでL = 8の設定が200秒未満で収束したのに対し、密度型推論（L = K）は同程度の性能に到達するまで1000秒以上を要した。
• ハードアサインメント（L = 1）は一貫して性能が低く、語のトピック曖昧性をモデル化する柔軟性に欠けるため、早期に収束したり、悪い局所最適解に陥りがちであった。
• NYTimesデータセット（180万記事）では、L = 8の設定がLightLDAおよびSparseLDAと同等または優れたホールドアウト尤度を達成したが、学習は3～5倍高速であった。
• NYTimesデータセットでは、S = 10のサンプル数がS = 5より優れていたが、Sを10以上に増加させてもさらなる向上はなく、効果の逓減が見られた。
• Kが大きい場合にも本手法は効果的にスケーリングされた：K > 200の場合、LightLDAは時間制限内に性能を追いつけることがなく、Lスパース手法は競争力があり、かつ高速であった。