[論文レビュー] Generative Topic Embedding: a Continuous Representation of Documents (Extended Version with Proofs)

Shaohua Li, Tat‐Seng Chua+2 more|arXiv (Cornell University)|Jun 9, 2016

Topic Modeling参考文献 16被引用数 5

ひとこと要約

この論文では、語の分散表現とトピックモデルを統合する生成モデルであるTopicVecを提案する。トピックは語と同じ埋め込み空間内での連続的ベクトルとして表現される。局所的な語の文脈と文書レベルのトピック構造の両方を活用することで、TopicVecは次元削減された一貫性のある文書表現を学習し、分類タスクにおいて8つの既存手法を上回る性能を示す。特徴量の数も大幅に削減可能であり、単一文書からも意味的なトピックを抽出可能である。

ABSTRACT

Word embedding maps words into a low-dimensional continuous embedding space by exploiting the local word collocation patterns in a small context window. On the other hand, topic modeling maps documents onto a low-dimensional topic space, by utilizing the global word collocation patterns in the same document. These two types of patterns are complementary. In this paper, we propose a generative topic embedding model to combine the two types of patterns. In our model, topics are represented by embedding vectors, and are shared across documents. The probability of each word is influenced by both its local context and its topic. A variational inference method yields the topic embeddings as well as the topic mixing proportions for each document. Jointly they represent the document in a low-dimensional continuous space. In two document classification tasks, our method performs better than eight existing methods, with fewer features. In addition, we illustrate with an example that our method can generate coherent topics even based on only one document.

研究の動機と目的

• 従来のbag-of-wordsモデルや語の分散表現モデルが、局所的な意味的パターンと文書全体の構造の両方を十分に捉えられていないという限界を解消すること。
• 従来のトピックモデルが大規模な文書コレクションに依存するのを克服し、単一文書からもトピックを発見可能にする。
• 語とトピックが統合された連続的ベクトル空間を構築し、より豊かな意味的モデリングを可能にすること。
• 変分推論を用いてトピック埋め込みと文書固有のトピック比率を同時に学習する生成モデルを開発すること。
• 提案手法の有効性を、文書分類およびトピックの一貫性評価を通じて検証すること。特に低データ環境下での性能を評価する。

提案手法

• TopicVecは、語の分散表現モデルPSDVecを拡張し、語の確率に影響を与える潜在的トピック変数を導入する。
• 各語の確率は、その局所的文脈語とトピック埋め込みベクトルの両方の関数としてモデル化され、トピックはディリクレ分布に従う混合分布から抽出される。
• 変分推論アルゴリズムを用いて、トピック埋め込みと文書固有のトピック比率を同時に推定し、エンドツーエンドの学習を可能にする。
• 過学習を防ぐために、トピック埋め込みにはガウス事前分布、トピック比率にはディリクレ事前分布を用いて正則化する。
• 埋め込みリンク関数は、語とトピックの埋め込み間のコサイン類似度を関数として用い、意味的関係を保持する。
• 効率的な推論を可能にするEMに類似した最適化手法を用いて学習を実行し、大規模コーパスへのスケーラビリティを実現する。

実験結果

リサーチクエスチョン

• RQ1 統一された連続的ベクトル空間モデルは、局所的な語の連接パターンと文書レベルのトピック構造を効果的に統合できるか？
• RQ2 単一文書から得られるトピック埋め込みは、依然として一貫性があり意味的に意味を持つものか？
• RQ3 語の分散表現とトピックの共同モデリングは、分類タスクにおいて既存手法を上回る文書表現を実現するか？
• RQ4 TopicVecの性能は、最新の手法と比較して、正答率と特徴量効率の両面で優れているか？
• RQ5 限られたデータで学習させた場合でも、TopicVecは非一様で識別的なトピック比率を学習できるか？

主な発見

• TopicVecは20NewsgroupsデータセットでF1スコア71.2、Reutersデータセットで92.2を達成し、分類タスクで8つの既存手法を上回った。
• 20Newsgroupsでは281の特徴量、Reutersでは111の特徴量で学習したが、BOW（50,381）やMeanWV（500）に比べて特徴量の数を大幅に削減しながらも、より高い性能を達成した。
• 単一文書からも、薬品関連のニュース記事において意味的に意味のある語クラスタが得られるトピッククラウドを生成し、一貫性のあるトピックを抽出できた。
• トピック埋め込み同士の類似性が高いため、GaussianLDAはほぼ均一なトピック比率を生成し、性能が著しく劣った（20NewsgroupsでのF1スコアは22.7）。
• TopicVecは100回のEMイテレーションを2時間で完了したが、類似手法のアンチエイリアスサンプリングベースの手法は同様のタスクに10日以上を要した。
• トピック比率とトピック埋め込みの両方を併用した（TV+MeanWV）場合、トピック比率のみを用いた場合に比べてわずかに高い性能を示し、共同表現によるさらなる改善の余地があることが示唆された。