[論文レビュー] Continuous Semantic Topic Embedding Model Using Variational Autoencoder

Namkyu Jung, Hyeong In Choi|arXiv (Cornell University)|Nov 24, 2017

Topic Modeling参考文献 22被引用数 3

ひとこと要約

本稿では、マハラノビス距離関数を用いて意味的関係をモデル化する、変分オートエンコーダーに基づく連続的意味的トピック埋め込みモデル（CSTEM）を提案する。グローバルな単語重みパラメータを導入することで、トピックの整合性が向上し、高速な推論が可能となる。これにより、可視化可能で意味的に意味のあるトピックおよび単語ベクトル表現が得られる。

ABSTRACT

This paper proposes the continuous semantic topic embedding model (CSTEM) which finds latent topic variables in documents using continuous semantic distance function between the topics and the words by means of the variational autoencoder(VAE). The semantic distance could be represented by any symmetric bell-shaped geometric distance function on the Euclidean space, for which the Mahalanobis distance is used in this paper. In order for the semantic distance to perform more properly, we newly introduce an additional model parameter for each word to take out the global factor from this distance indicating how likely it occurs regardless of its topic. It certainly improves the problem that the Gaussian distribution which is used in previous topic model with continuous word embedding could not explain the semantic relation correctly and helps to obtain the higher topic coherence. Through the experiments with the dataset of 20 Newsgroup, NIPS papers and CNN/Dailymail corpus, the performance of the recent state-of-the-art models is accomplished by our model as well as generating topic embedding vectors which makes possible to observe where the topic vectors are embedded with the word vectors in the real Euclidean space and how the topics are related each other semantically.

研究の動機と目的

• 従来のLDAよりも、トピックと単語の間の意味的関係をより正確に捉える連続的トピックモデルの開発。
• ガウス分布に基づくトピックモデルの意味的意味を捉える限界を克服するため、ユークリッド空間における意味的距離関数の導入。
• トピック割り当てとは独立したグローバル単語重みパラメータを組み込むことで、トピックの整合性を向上。
• 意味的分析のための共有ベクトル空間内での連続的で可視化可能なトピックおよび単語埋め込みの生成。
• MCMCベースの手法よりも高速なトレーニングを実現しつつ、トピックの整合性およびパープレクサリティで最先端の性能を達成。

提案手法

• CSTEMは再構成のための再パrameterizationトリックを用いた変分オートエンコーダー（VAE）フレームワークを採用し、トピック分布と単語埋め込みを同時に推論。
• 単語の出現確率を、トピックベクトルと単語ベクトル間の逆マハラノビス距離の指数関数としてモデル化し、意味的類似性を捉える。
• トピックとは無関係な単語頻度を補正するため、グローバル単語重みパラメータ $ c_i $ を導入。
• モンテカルロ推定と確率的勾配降下法を用いて、変分下界（ELBO）を最適化。
• トピックおよび単語ベクトルを、幾何学的解釈が可能な共有の300次元ユークリッド空間に統合して埋め込む。
• 主成分分析（PCA）を用いて、意味的クラスタリングを保持したまま、2次元空間でトピックおよび単語ベクトルを可視化。

実験結果

リサーチクエスチョン

• RQ1 ユークリッド空間における連続的意味的距離関数は、離散的またはガウス分布に基づくモデルよりも、トピック-単語関係をよりよくモデル化できるか？
• RQ2 グローバル単語重みパラメータの導入により、標準的トピックモデルを上回るトピックの整合性およびモデル適合性が向上するか？
• RQ3 学習されたトピックおよび単語埋め込みは、視覚的に解釈可能であり、トピックと単語間の意味的類似性を反映しているか？
• RQ4 トピックの整合性およびパープレクサリティの観点から、CSTEMは最先端のモデルと比較してどのように性能を発揮するか？
• RQ5 連続的ベクトル空間により、補間を用いた新しい意味のあるトピックの生成が可能になるか？

主な発見

• CSTEMは、AVITM やガウス分布LDAといった最先端のモデルと同等またはわずかに優れたトピックの整合性を達成し、サンプリングベースの手法よりも著しく高速なトレーニングを実現。
• LDA や ProdLDA よりもトピックの整合性が優れており、パープレクサリティスコアも競争力を持つ。
• PCAを用いた可視化により、意味的に類似した単語がクラスタを形成し、関連するテーマ（例：戦争と世界）を有するトピックが埋め込み空間内で幾何学的に近接していることが確認された。
• グローバル単語重みパラメータ $ c_i $ は、トピックとは無関係な単語頻度をモデル化するために不可欠であることが判明し、モデル適合性が向上した。
• トピックベクトルは単語ベクトルと同じ空間に適切に埋め込まれており、幾何学的近接性を通じてトピックの意味的解釈が直感的に行えるようになった。
• 連続的埋め込み空間における補間を用いることで、無限にカスタムトピックを生成可能であり、生成的能力の有効性が示された。