[論文レビュー] Convolutional Poisson Gamma Belief Network

Chaojie Wang, Bo Chen+2 more|arXiv (Cornell University)|May 14, 2019

Topic Modeling被引用数 4

ひとこと要約

本稿では、one-hot単語ベクトル上の畳み込み演算を活用して語順を保持し、階層的なフレーズレベルのトピックを学習する、深層生成モデルである畳み込みポアソンガンマ信念ネットワーク（CPGBN）を提案する。CPFAとガンマ信念ネットワーク（GBN）を、新規の確率的プーリング層で統合することで、階層的で解釈可能かつ順序に配慮した潜在表現を、ギブスサンプリングとワイブル分布に基づく変分オートエンコーダーの両方で得られ、テキスト分類において最先端の性能を達成する。

ABSTRACT

For text analysis, one often resorts to a lossy representation that either completely ignores word order or embeds each word as a low-dimensional dense feature vector. In this paper, we propose convolutional Poisson factor analysis (CPFA) that directly operates on a lossless representation that processes the words in each document as a sequence of high-dimensional one-hot vectors. To boost its performance, we further propose the convolutional Poisson gamma belief network (CPGBN) that couples CPFA with the gamma belief network via a novel probabilistic pooling layer. CPFA forms words into phrases and captures very specific phrase-level topics, and CPGBN further builds a hierarchy of increasingly more general phrase-level topics. For efficient inference, we develop both a Gibbs sampler and a Weibull distribution based convolutional variational auto-encoder. Experimental results demonstrate that CPGBN can extract high-quality text latent representations that capture the word order information, and hence can be leveraged as a building block to enrich a wide variety of existing latent variable models that ignore word order.

研究の動機と目的

• 既存のトピックモデルが語順を無視するという限界を是正し、テキストの完全な逐次的構造を保持すること。
• one-hot単語表現に対する畳み込み演算を通じてフレーズレベルの意味を捉える、深く階層的な生成モデルを構築すること。
• 複数の確率的層を有する潜在変数を、上向き・下向きのギブスサンプリングを用いて同時に学習可能にするための手法を提供することにより、推論効率を向上させること。
• ミニバッチ確率的勾配MCMCとワイブル分布に基づく変分オートエンコーダーを用いて、大規模コーパスにおけるスケーラブルな推論を実現すること。
• 生成的表現学習と判別的深層ニューラルネットワークを統合する統一確率的枠組み下で、教師あり設定に拡張したsCPGBNを構築すること。

提案手法

• 文書をone-hotベクトルの系列としてモデル化し、フレーズレベルのパターンを検出するため、畳み込みフィルタを適用するための畳み込みポアソン因子分析（CPFA）を提案する。
• CPFAとガンマ信念ネットワーク（GBN）を結合するための新規な確率的文書レベルプーリング層を導入し、複数の確率的層にまたがる階層的トピック学習を可能にする。
• すべての層を同時に学習可能にする上向き・下向きのギブスサンプラーを開発し、GPU上で非効率的でない並列計算を実現する。
• 大規模データセットにおける学習・推論の高速化を図るため、ワイブル分布に基づく畳み込み変分オートエンコーダー（VAE）を提案する。
• CPGBNの深層潜在表現と判別的ニューラルネットワークを統合する統一確率的枠組み下で、教師あり拡張モデルsCPGBNを構築する。
• 下位層で特定のフレーズを検出し、プーリングと確率的深さを経て上位層でより抽象的で一般的なトピックを学習する階層的生成プロセスを採用する。

実験結果

リサーチクエスチョン

• RQ1 one-hot単語ベクトルに直接作用する深層生成モデルは、語順を保持し、下流のNLPタスクにおける表現品質を向上させることができるか？
• RQ2 スパースで高次元なone-hot単語系列に、効果的に畳み込み演算を適用することで、意味的なフレーズレベルのパターンを検出できるか？
• RQ3 確率的プーリング機構は、畳み込み因子分析モデルとガンマ信念ネットワークのような複数の確率的層を持つ深層生成モデルを効果的に結合できるか？
• RQ4 提案されたCPGBNモデルは、袋- of-ワード、単語埋め込み、CNNベースのモデルと比較して、テキスト分類で優れた性能を達成するか、かつ解釈可能であるか？
• RQ5 CPGBNにおける確率的隠れ層の数を増やすことで、長く複雑なテキストにおける表現品質と一般化性能がどの程度向上するか？

主な発見

• sCPGBNは3層の確率的層を用いてIMDBデータセットで93.8%の正確度を達成し、CNN-non-static（93.4%）やSVM-wv（90.1%）を上回る。
• 3層でELECデータセットで93.7%、IMDBデータセットで92.6%の正確度を達成し、袋- of-ワードおよび単語埋め込みベースラインの両方を一貫して上回る。
• sCPGBNの性能は層の深さに応じて向上し、より深い階層的表現がより複雑な意味的構造を捉えられることを示している。
• ワイブル分布に基づく変分オートエンコーダーにより、標準的なMCMC手法と比較して、大規模コーパスにおける学習・推論が著しく高速化された。
• CPGBNは、'I like it' や 'don’t hate' のような、意味的に意味のある語順を保持した高解釈性のフレーズレベルトピックを学習している。
• CNN-one-hotと比較して、長文における過学習が抑制されていることから、深層階層的生成モデリングが高次統計を効果的に捉えていることが示唆される。