[論文レビュー] Spectral Methods for Nonparametric Models

Hsiao-Yu Fish Tung, Chao-Yuan Wu+2 more|arXiv (Cornell University)|Mar 31, 2017

Bayesian Methods and Mixture Models参考文献 23被引用数 3

ひとこと要約

本稿では、インド・バーバー過程（IBP）および階層的ディリクレ過程（HDP）を含む非パrametricベイジアンモデルに対して、高次モーメントテンソルとテンソル分解を用いたスペクトル法を導入し、計算が高速で統計的に一貫性のある推論を実現する。この手法は、特に階層的データ構造を活用することで、サンプリング法や変分推論法よりも高速かつ高い尤度性能を達成する。

ABSTRACT

Nonparametric models are versatile, albeit computationally expensive, tool for modeling mixture models. In this paper, we introduce spectral methods for the two most popular nonparametric models: the Indian Buffet Process (IBP) and the Hierarchical Dirichlet Process (HDP). We show that using spectral methods for the inference of nonparametric models are computationally and statistically efficient. In particular, we derive the lower-order moments of the IBP and the HDP, propose spectral algorithms for both models, and provide reconstruction guarantees for the algorithms. For the HDP, we further show that applying hierarchical models on dataset with hierarchical structure, which can be solved with the generalized spectral HDP, produces better solutions to that of flat models regarding likelihood performance.

研究の動機と目的

• IBP や HDP のような非パラメトリックベイジアンモデルにおける計算効率の良い推論アルゴリズムの開発。これらは通常、サンプリングや変分推論によるため、計算が遅い。
• 従来、LDA のようなパラメトリックモデルに用いられていたスペクトル法を、無限個または未知の成分数を持つ非パラメトリックモデルへと拡張すること。
• HDPにおける階層的データ構造を活用し、モデルの尤度を向上させるとともに、アンバランスなデータによるバイアスを低減すること。
• 測度の集中とテンソル分解を用いて、潜在変数のパラメータ回復と安定性に関する理論的保証を提供すること。
• スペクトル法が、現実のデータセットにおいて、速度と尤度性能の両面でサンプリング法や変分推論法を上回ることを実証すること。

提案手法

• IBP および HDP の低次の理論的モーメント（4次まで）を導出し、分解可能な対称テンソルを構築する。
• 過剰相関分析（ECA）を用いて、高次テンソルのホワイトニングと次元削減を行い、安定したテンソル分解を可能にする。
• パワー法を用いて、実測テンソルを潜在変数に対応する要因と固有値に対称的に分解する。
• HDP に対しては、テンソル構築を任意の階層的木構造へ一般化し、グループ化されたデータの多層的モデリングを可能にする。
• 特に大規模データセットに対して高速化を図るため、高速カウントスケッチテンソル分解（FC）を採用する。
• 理論的モーメントの代わりに実測モーメントを用い、実データ推論のための実測テンソルを構築する。

実験結果

リサーチクエスチョン

• RQ1 IBP や HDP のような、固定された成分数を持たない非パラメトリックモデルへ、スペクトル法を効果的に拡張できるか？
• RQ2 第三階のテンソルが退化するようなモデル（例：IBP）において、第三階を超える高次モーメントテンソルをどのように構築・分解できるか？
• RQ3 HDP に階層的データ構造を組み込むことで、フラットモデルと比較して尤度性能が向上するか？
• RQ4 スペクトルアルゴリズムは、現実のデータセットにおいて、速度と尤度性能の両面でサンプリング法や変分推論法を上回るか？
• RQ5 非パラメトリックモデルにおけるスペクトル推論を用いた潜在要因の回復と安定性について、どのような理論的保証が存在するか？

主な発見

• 高速カウントスケッチ（FC）を用いたHDPのスペクトルアルゴリズムは、100のトピックと3層構造を用いたEnronデータセットで、単語あたりの尤度が8.18に達し、変分推論およびサンプリングベースラインを上回った。
• マルチドメインセンチメントデータセットでは、3層構造のスペクトルHDPモデルが、K=50で尤度8.17を達成し、フラットモデルを著しく上回った。
• 階層的構造を組み込んだスペクトル法は、アンバランスなデータからのバイアスを低減し、外部メールや少数派の製品カテゴリなどのマイノリティグループの性能を向上させた。
• アルゴリズムは高い速度を達成し、EnronデータセットではFCバージョンが2分未満で推論を完了したのに対し、MCMCサンプラーは数時間かかった。
• 実験的結果から、スペクトル法は、特に大規模かつ構造的データに対して、変分推論やMCMCよりも尤度が高く、収束が速いことが示された。
• 理論的集中バインディングにより、ややきつい正則性条件のもとでも、潜在要因およびモデルパラメータの安定的かつ一貫性のある回復が保証された。