[論文レビュー] Exponential Family Embeddings

Maja Rudolph, Francisco J. R. Ruiz+2 more|arXiv (Cornell University)|Aug 2, 2016

Family Dynamics and Relationships被引用数 74

ひとこと要約

この論文は、神経活動、マーケットバスケットデータ、映画評価など、多様なデータタイプに一般化された単語埋め込みの拡張として、指数型族埋め込み（ef-emb）を紹介する。各観測値をその文脈に関して指数型族分布と共有される潜在ベクトルを用いて条件付きでモデル化することで、従来の次元削減手法（Poisson因子分解や指数型族PCAなど）に比べ、より優れたデータ再構成性能と解釈可能な意味的構造の発見が可能となる。

ABSTRACT

Word embeddings are a powerful approach for capturing semantic similarity among terms in a vocabulary. In this paper, we develop exponential family embeddings, a class of methods that extends the idea of word embeddings to other types of high-dimensional data. As examples, we studied neural data with real-valued observations, count data from a market basket analysis, and ratings data from a movie recommendation system. The main idea is to model each observation conditioned on a set of other observations. This set is called the context, and the way the context is defined is a modeling choice that depends on the problem. In language the context is the surrounding words; in neuroscience the context is close-by neurons; in market basket data the context is other items in the shopping cart. Each type of embedding model defines the context, the exponential family of conditional distributions, and how the latent embedding vectors are shared across data. We infer the embeddings with a scalable algorithm based on stochastic gradient descent. On all three applications - neural activity of zebrafish, users' shopping behavior, and movie ratings - we found exponential family embedding models to be more effective than other types of dimension reduction. They better reconstruct held-out data and find interesting qualitative structure.

研究の動機と目的

• 自然言語を超えて、神経記録、取引データ、評価値などの高次元データタイプへ単語埋め込みの成功を拡張すること。
• 各データポイントをその文脈に関して指数型族分布を用いて条件付き独立にモデル化する統一フレームワークの構築。
• スケーラブルな潜在表現の学習を確率的勾配降下法により可能とし、多様なデータモダリティに適用可能にする。
• ef-embが、買い物データにおける代替品・補完品や映画評価におけるトピック的主題といった、従来の因子分解手法では得られない意味的構造を捉えられることを示すこと。
• 複数の実世界データセットにおいて、保持されたデータの再構成性能が、既存の次元削減技術を上回ることを示すこと。

提案手法

• データタイプと問題文脈に応じて、隣接する単語、近接するニューロン、または同時に購入されたアイテムなどの文脈を各観測値に対して定義する。
• 各観測値をその文脈に関してモデル化するため、条件付き指数型族分布（例：実数値データには正規分布、カウントデータにはPoisson分布、バイナリ評価にはベルヌーイ分布）を指定する。
• 潜在埋め込みベクトルと文脈ベクトルを用いて、指数型族分布の自然パラメータをパrameter化することで、依存関係の柔軟なモデル化を可能にする。
• 観測値間で埋め込みベクトルと文脈ベクトルを共有することで一貫性を確保し、一般化を可能とし、モデル構造はデータタイプに応じて変化する。
• スケーラビリティを実現するため、ℓ₂正則化を用いた確率的勾配降下法でモデルを適合させる。
• Poisson以外のモデル（例：hpf）では変分推論を、Poissonベースのモデルでは、文脈を前提とした正規化されたPoisson平均を用いて尤度を計算する。

実験結果

リサーチクエスチョン

• RQ1 単語埋め込みの原則を、神経活動やマーケットバスケット取引などの非テキスト的高次元データへ一般化できるか？
• RQ2 統一フレームワークとして、実数値、カウント、バイナリといった多様なデータタイプを、条件付き指数型族と共有される潜在表現を用いてどのようにモデル化できるか？
• RQ3 ef-embモデルは、Poisson因子分解や指数型族PCAといった従来の次元削減手法に比べ、保持されたデータの再構成精度をどの程度向上させるか？
• RQ4 学習された埋め込みが、製品の代替品・補完品や映画のトピック的クラスタといった、統計的フィットを超えた解釈可能な意味的構造を明らかにするか？
• RQ5 文脈定義や分布族の選択が、異なるデータモダリティにおけるモデル性能と解釈可能性にどのように影響を与えるか？

主な発見

• マーケットバスケットデータでは、K=100の潜在次元を有するp-embモデルが、保持されたデータにおける正規化対数尤度において、Poisson PCAおよびhpfを上回る予測性能を達成した。
• MovieLensデータでは、K=20のp-embモデルが最高のテスト対数尤度を示し、ベースライン手法に比べてユーザー評価の再構成性能に優れたことを示した。
• p-embモデルは意味的類似性を適切に捉えていた。例えば、ヨーグルトとソーダは他の類似製品に近い位置に埋め込まれており、コサイン類似度が期待されるグループ化を反映していた。
• 埋め込みベクトルと文脈ベクトルの内積は意味のある関係を特定した：高い値は補完品（例：ポテトチップスとビール）を示し、低値または負の値は代替品（例：異なるスースースース）や同時に出現しにくいアイテムを示した。
• 映画評価においては、各潜在次元の文脈ベクトルがテーマ的類似性に基づいて映画を順位付けし、子供向け映画やSF／アクションジャンルといった解釈可能なクラスタを明らかにした。
• ef-embフレームワークは、連続的バッグオブワーズ（cbow）やネガティブサンプリングといった既存モデルを特別なケースとして包含しており、埋め込み手法の統一的視点を確立した。