[論文レビュー] Deep Belief Nets for Topic Modeling

Lars Maaløe, Morten Arngren+1 more|arXiv (Cornell University)|Jan 18, 2015

Topic Modeling参考文献 10被引用数 13

ひとこと要約

この論文は、潜在ディリクレ割り当て（LDA）の代替として、制限ボルツマンマシンとコントラスト型分散を用いた深層生成アーキテクチャを活用して非線形次元削減を実現する深層信念ネットワーク（DBN）を提案する。DBNは10次元の潜在空間を用いて文書検索において高い正確性を達成し、150トピックを用いたLDAモデルでさえも上回る。また、低次元でバイナリ表現を採用することで、類似度検索が高速化される。

ABSTRACT

Applying traditional collaborative filtering to digital publishing is challenging because user data is very sparse due to the high volume of documents relative to the number of users. Content based approaches, on the other hand, is attractive because textual content is often very informative. In this paper we describe large-scale content based collaborative filtering for digital publishing. To solve the digital publishing recommender problem we compare two approaches: latent Dirichlet allocation (LDA) and deep belief nets (DBN) that both find low-dimensional latent representations for documents. Efficient retrieval can be carried out in the latent representation. We work both on public benchmarks and digital media content provided by Issuu, an online publishing platform. This article also comes with a newly developed deep belief nets toolbox for topic modeling tailored towards performance evaluation of the DBN model and comparisons to the LDA model.

研究の動機と目的

• 文書の低次元潜在表現を学習するための深層信念ネットワーク（DBN）と潜在ディリクレ割り当て（LDA）を比較すること。
• スパースなユーザーデータを伴うデジタル出版におけるコンテンツ指向協調フィルタリングにおいて、DBNの性能を評価すること。
• トピックモデリングおよびLDAとのベンチマークに特化したDBNツールボックス（DBNT）の開発と検証すること。
• DBNが顕著に低い出力次元でLDAを上回る検索正確性を達成できることを示すこと。
• DBNのバイナリ出力表現が、高速かつ正確な文書類似度検索を可能にすること。

提案手法

• DBNは2段階で訓練される：まず、スタックされた制限ボルツマンマシン（RBMs）を用いた事前学習で、最下層は語彙カウントベクトル用の複製ソフトマックスモデル（RSM）として設定される。
• 各RBMは、ギブスサンプリングを用いたコントラスト型分散により、独立に訓練され、確率的バイナリユニットとロジスティックシグモイド活性化関数が使用される。
• モデルパラメータは勾配近似を用いて更新される：ΔW = ε(𝔼pdata[𝑣ℎᵀ] − 𝔼precon[𝑣ℎᵀ])、最適化には重み減衰とモーメンタムが適用される。
• 事前学習後、未ラベルデータ上でバックプロパゲーションを用いて深層オートエンコーダーとして微調整され、再構成と表現学習が向上する。
• 最終的なDBNは、効率的な類似度検索を目的とした低次元、バイナリまたは実数値の潜在表現を出力する。
• 文書の類似度は、距離尺度を用いて潜在空間で計算され、パブリックおよびプロプライエタリなコーパスを用いた正確性測定によって検索性能が評価される。

実験結果

リサーチクエスチョン

• RQ1 深層信念ネットワーク（DBN）は、トピックモデリングの文書の低次元で意味のある表現を学習する点で、潜在ディリクレ割り当て（LDA）を上回ることができるか？
• RQ2 潜在空間の次元が、DBNベースおよびLDAベースのモデルにおける検索正確性にどのように影響するか？
• RQ3 DBNにおけるバイナリ潜在表現の使用は、実数値表現と比較して検索性能を維持または向上させるか？
• RQ4 DBNは、LDAよりも顕著に少ない潜在次元で高い検索正確性を達成でき、より高速な文書検索を可能にするか？
• RQ5 DBNは、Issuuプラットフォームの実世界のデジタル出版データに一般化できるか？

主な発見

• Wikipedia Businessデータセットにおいて、2000-500-250-125-10-DBNは、K=12およびK=150のLDAモデルをすべての評価ポイントで上回り、より高い正確性を達成した。
• DBNは10次元の潜在表現を達成し、LDAの150次元トピック分布と同等またはそれを上回る性能を示した。これは、優れた次元削減を示している。
• 2000-500-250-125-10-DBNは、Issuuコーパスにおいても高い正確性を達成し、クエリが異なるカテゴリに属していても、人間が認識可能な関連性を持つ文書を効果的に検索できた。
• DBNの出力次元を10から50または100に増加させても性能に顕著な向上が見られず、高次元でモデルが飽和していることが示された。
• DBNの10次元出力空間は、文書を意味的空間に効果的に分散させ、同じカテゴリ（例：ビジネスと自動車）の文書がクラスタリングされることが主成分分析（PCA）可視化で確認された。
• DBNのバイナリ出力表現は、実数値出力とほぼ同等の性能を示し、実際の類似度計算が高速化された。