[論文レビュー] The Poisson Gamma Belief Network

Mingyuan Zhou, Yulai Cong+1 more|arXiv (Cornell University)|Nov 6, 2015

Bayesian Methods and Mixture Models参考文献 26被引用数 14

ひとこと要約

Poisson Gamma Belief Network (PGBN) は、ガンマ分布に従う非負の隠れユニットとディリクレ分布に従う接続重みを用いる深層生成モデルであり、上行・下行ギブスサンプラーを用いて複数層を同時に学習可能である。固定された第1層幅の予算のもとで最適な層幅を自動で推定し、計算リソースが限られた状況でも、深さを増すことで浅層モデルを上回る性能を発揮する。

ABSTRACT

To infer a multilayer representation of high-dimensional count vectors, we propose the Poisson gamma belief network (PGBN) that factorizes each of its layers into the product of a connection weight matrix and the nonnegative real hidden units of the next layer. The PGBN's hidden layers are jointly trained with an upward-downward Gibbs sampler, each iteration of which upward samples Dirichlet distributed connection weight vectors starting from the first layer (bottom data layer), and then downward samples gamma distributed hidden units starting from the top hidden layer. The gamma-negative binomial process combined with a layer-wise training strategy allows the PGBN to infer the width of each layer given a fixed budget on the width of the first layer. The PGBN with a single hidden layer reduces to Poisson factor analysis. Example results on text analysis illustrate interesting relationships between the width of the first layer and the inferred network structure, and demonstrate that the PGBN, whose hidden units are imposed with correlated gamma priors, can add more layers to increase its performance gains over Poisson factor analysis, given the same limit on the width of the first layer.

研究の動機と目的

• 高次元カウントベクトルを効果的にモデル化し、階層的構造と過分散を捉える深層教師なしモデルの開発。
• 第1層幅に固定された予算がある条件下で、ネットワークの深さと各層幅の自動推定を可能にする。
• ガンマ分布に従う隠れユニットを維持しつつ、すべての層を同時に学習可能な効率的な推論アルゴリズムの設計。
• 同じ計算リソース予算のもとで、第1層が狭いが深いネットワークが、浅く広いネットワークを上回ることを実証する。
• 学習済み重みを用いてトップ層の隠れユニットを逆方向に伝搬させることで、解釈可能な合成ドキュメントの生成。

提案手法

• 観測されたカウントはポisson尤度で因子分解され、各層の形状母数はガンマ分布に従い、次層への接続はガンマ分布に従う重みでリンクされる。
• 上行・下行ギブスサンプラーは、各イテレーションで下位層から上位層へディリクレ分布に従う接続重みを交互にサンプリングし、上位層から下位層へガンマ分布に従う隠れユニットをサンプリングする。
• 階層的構造のモデリングと自動層幅推定の両方を可能にするために、ガンマ・ネガティブバイノミアル過程が用いられる。
• 層ごとの学習戦略により、第1層幅の予算に基づいて以降の層幅を推定できる。
• ガンマ分布の形状母数の非共役性に対処するため、データ拡張と周辺化技術が適用され、効率的なサンプリングが可能になる。
• 合成ドキュメントは、トップ層のガンマユニットをサンプリングし、学習済み重みを用いてネットワークを逆方向に伝搬させることで生成される。

実験結果

リサーチクエスチョン

• RQ1 非負の実数値隠れユニットを備えた深層ベイズネットワークは、過分散を示す高次元カウントデータを効果的にモデル化できるか？
• RQ2 第1層幅が固定された計算リソース予算のもとで、ネットワークの深さが性能に与える影響は何か？
• RQ3 第1層幅に予算が与えられた状況で、PGBNは手動チューニングなしに最適な層幅を自動で推定できるか？
• RQ4 第1層幅を犠牲にして深さを増すことで、浅く広いネットワークに比べて表現品質が向上するか？
• RQ5 PGBNは、学習コーパスの意味的階層構造を反映する解釈可能な合成ドキュメントを生成できるか？

主な発見

• 第1層幅の予算が固定された場合、T=5 のような深いPGBNアーキテクチャは、浅層モデルよりも低いホールドアウトパープレキシティを達成し、より優れた表現学習を示した。
• K₁max = 200 の場合、PGBNは深さ5の構造 (200, 164, 106, 60, 42) を推定し、上位層になるほど段階的に幅が狭くなることを示した。
• K₁max = 800 の場合、推定された幅は (608, 100, 99, 96, 89) となり、余剰な予算があると層の深さに伴う幅の減少が緩やかになることがわかった。
• 1層の隠れユニットを持つPGBNはポisson因子分析に帰着し、既存のモデルと整合性があることを裏付けた。
• トップ層のガンマユニットから生成された合成ドキュメントは解釈可能で、一般的な意味的テーマを反映しており、モデルが階層的意味構造を適切に捉えていることを確認した。
• 文書分類タスクにおいて、PGBNはベースライン手法を上回り、K₁max とネットワークの深さが増すほど性能が向上した。