[論文レビュー] Deep Exponential Families

Rajesh Ranganath, Linpeng Tang+2 more|arXiv (Cornell University)|Nov 10, 2014

Cellular Automata and Applications参考文献 31被引用数 24

ひとこと要約

本稿では、階層的確率的モデルであるディープ指数型分散（DEFs）を紹介する。DEFsは、指数型分散族を深層構造へと拡張することで、潜在変数のスタックされた層を通じてデータの構造的・構成的表現を可能にする。DEFsは、テキストモデリングおよび協調フィルタリングにおいて、階層的トピック構造を学習することで予測性能と解釈可能性を向上させ、パープレキシティおよびランク付け指標において最先端のモデルを上回る。

ABSTRACT

We describe extit{deep exponential families} (DEFs), a class of latent variable models that are inspired by the hidden structures used in deep neural networks. DEFs capture a hierarchy of dependencies between latent variables, and are easily generalized to many settings through exponential families. We perform inference using recent "black box" variational inference techniques. We then evaluate various DEFs on text and combine multiple DEFs into a model for pairwise recommendation data. In an extensive study, we show that going beyond one layer improves predictions for DEFs. We demonstrate that DEFs find interesting exploratory structure in large data sets, and give better predictive performance than state-of-the-art models.

研究の動機と目的

• 深層ニューラルネットワークにインspiredされた、潜在変数の階層的依存関係を捉える柔軟な深層確率的モデルの開発。
• 複数層の潜在変数に対して指数型分散族を一般化し、複雑なデータ構造のモデリングを改善すること。
• 大規模データセット向けに、モデル固有の導出を必要としないブラックボックス変分推論技術を用いたスケーラブルな推論の実現。
• ドキュメントモデリングや協調フィルタリングといった実世界の問題に対してDEFsを評価し、予測性能と解釈可能性の向上を示すこと。
• 確率的因子分解および表現学習において、単一層モデルを超えた深層アーキテクチャの有効性の探求。

提案手法

• DEFsは、観測値を潜在変数の階層的層の連鎖によってモデル化し、各層の変数が直前の層と学習済み重みの内積によって定まる指数型分散族に従う。
• 指数型分散族の自然パラメータと十分統計量を用いることで、観測モデルの柔軟性が確保され、ポisson、ベルヌーイ、ガウス分布など多様なデータタイプに対応可能。
• 推論にはブラックボックス変分推論を採用し、モデル固有の導出を必要とせず、大規模データセットにおける効率的な学習が可能。
• ダブルDEFアーキテクチャは、ユーザー用とアイテム用の別個のDEFを合成したもので、相互作用の尤度は、両者の最下層表現の内積に基づくポアソン分布としてモデル化される。
• 層サイズ（100, 30, 15）や重みの事前分布などのハイパーパラメータは、さまざまなDEFバージョン（例：ガンマ、シグモイド、ポアソンDEF）で最適化される。
• 潜在変数の分布として、ガウス分布、ベルヌーイ分布、ガンマ分布など多様な指数型分散族の選択をサポートし、広範な適用可能性を実現。

実験結果

リサーチクエスチョン

• RQ1 指数型分散族の深層アーキテクチャは、浅いモデルと比較して、テキストモデリングにおける予測性能を向上させることができるか？
• RQ2 より深いDEFは、大規模テキストコーパスにおいて、より解釈可能で意味のある階層的構造を明らかにできるか？
• RQ3 潜在変数の分布の選択（例：ガンマ、ベルヌーイ、ガウス）が、モデル性能および学習安定性に与える影響は何か？
• RQ4 DEFは、協調フィルタリング向けにダブルDEFとして効果的に組み合わせられ、標準的な行列分解を上回る性能を示すか？
• RQ5 階層の深さを増すことで、特にデータスパarsityに苦しむ低活動ユーザーにおいて、一般化性能が向上するか？

主な発見

• DEFsは20 NewsgroupsおよびNYTテキストデータセットにおいてベースラインモデルを上回り、2層および3層の深層アーキテクチャが浅いモデルよりも低いホールドアウトパープレキシティを達成した。
• スパースガンマDEFおよびガンマ分布重みを用いたポアソンDEFは、特に深層アーキテクチャにおいて、正規分布重みを用いたモデルを一貫して上回った。
• 正規分布重みを用いたシグモイドDEFは、深層構造において学習が難しく、性能も悪かったことから、事前分布および初期化の選択に敏感であることが示唆された。
• ダブルDEFモデルは、NetflixおよびArXivのクリック/レーティングデータにおいて、予測性能を向上させ、2層モデルが浅いベースラインおよび1層DEFを上回った。
• ArXivデータセットでは、より深いダブルDEFが、低活動ユーザーにおけるランク付け性能（NDCG）で顕著な優位性を示し、データスパarsity下での一般化性能の向上を示した。
• モデルは、NYTコーパスにおいて、司法、立法、行政の3本の政府機関という解釈可能な階層的構造を発見し、意味的グループ化を明らかにできる能力を示した。