[論文レビュー] Representing Mixtures of Word Embeddings with Mixtures of Topic Embeddings

Dongsheng Wang, Dandan Guo+5 more|arXiv (Cornell University)|Mar 3, 2022

Topic Modeling被引用数 9

ひとこと要約

この論文では、文書を語彙埋め込みの混合として表現し、トピックを共有された意味的空間内の学習可能な埋め込みベクトルとして表現する、新しいトピックモデル枠組みWeTeを提案する。語彙埋め込みとトピック埋め込みの間の最適輸送コストを、双方向輸送法を用いて最小化することで、確率的勾配降下法によるスケーラブルでエンドツーエンドの学習が可能となり、短い文書および長い文書の両方において、トピックの整合性、多様性、文書表現の面で最先端の性能を達成する。特に事前学習済み語彙埋め込みを組み合わせた場合に顕著である。

ABSTRACT

A topic model is often formulated as a generative model that explains how each word of a document is generated given a set of topics and document-specific topic proportions. It is focused on capturing the word co-occurrences in a document and hence often suffers from poor performance in analyzing short documents. In addition, its parameter estimation often relies on approximate posterior inference that is either not scalable or suffers from large approximation error. This paper introduces a new topic-modeling framework where each document is viewed as a set of word embedding vectors and each topic is modeled as an embedding vector in the same embedding space. Embedding the words and topics in the same vector space, we define a method to measure the semantic difference between the embedding vectors of the words of a document and these of the topics, and optimize the topic embeddings to minimize the expected difference over all documents. Experiments on text analysis demonstrate that the proposed method, which is amenable to mini-batch stochastic gradient descent based optimization and hence scalable to big corpora, provides competitive performance in discovering more coherent and diverse topics and extracting better document representations.

研究の動機と目的

• 従来のトピックモデルが短い文書を処理するのを困難にしている点や、ベイジアンモデルやニューラルトピックモデルにおけるスケーラビリティの問題を解決すること。
• 直接的に語彙埋め込みとトピック埋め込みの意味的整合性を最適化することで、複雑な事後分布推論や生成モデルの必要性を排除すること。
• 語彙埋め込みと共有されたベクトル空間内での意味的整合性を持つトピック埋め込みを学習することで、トピックの整合性と多様性を向上させること。
• 繰り返しの推論手順を避けることで、大規模コーパスにおけるミニバッチ確率的最適化が可能となるスケーラブルな学習を実現すること。
• 特に短い文書において、クラスタリングなどの下流タスクにおける文書表現の質を向上させること。

提案手法

• 各文書を同じH次元の埋め込み空間内の語彙埋め込みの離散的分布として表現し、各トピックをその空間内の学習可能なベクトルとして表現する。
• 語彙埋め込みとトピック埋め込みの間の意味的距離を測るために、確率的双方向最適輸送法を用い、コストは埋め込みの類似度に基づく。
• 経験的語彙分布とトピックベースの混合分布の間の期待輸送コストを最小化することで、トピック埋め込みと文書のトピック割合を同時に最適化する。
• 再パrameterizationトリックを確率的勾配降下法で活用し、Gibbsサンプリングや変分推論を回避することでスケーラブルな学習を実現する。
• トポスコストとポisson尤度を組み合わせたハイブリッド目的関数を導入し、トピックの質と文書表現の両立を図る。
• 事前学習済み語彙埋め込みを入力として採用し、エンドツーエンドのファインチューニングが可能となり、リソースが限られた環境や短いテキストのシナリオで性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 語彙埋め込みとトピック埋め込みの意味的整合性を共有された埋め込み空間内で直接最適化するトピックモデルは、既存のモデルに比べてトピックの整合性と多様性において優れた性能を発揮できるか？
• RQ2 このようなモデルは、複雑な事後分布推論や生成仮定に依存せずに、短いテキストにおいても競争力のある性能を達成できるか？
• RQ3 語彙埋め込みとトピック埋め込みの間の最適輸送コストを最小化することで、下流のクラスタリングタスクにおける文書表現が向上するか？
• RQ4 トポスコストと尤度損失の組み合わせは、トピックの質と表現学習にどのように影響を与えるか？
• RQ5 モデルは、埋め込み空間内で空間的に凝集した形で、解釈可能で意味的に整合性のあるトピックを学習できるか？

主な発見

• WeTeは、トピックの整合性と多様性において最先端の性能を達成しており、t-SNE可視化における各トピックの上位6語クラスタは強い意味的一貫性を示している。
• モデルは文書表現の質を顕著に向上させ、短い文書および通常の文書の両方において、競合するベースラインを上回るクラスタリング性能を示した。
• トポスコストと尤度の間のトレードオフ（εによる調整）のハイパーパramータチューニングによりさらなる性能向上が可能であり、ハイブリッド目的関数は単独の成分よりも優れた性能を発揮した。
• トピック埋め込みは埋め込み空間内で空間的に適切に分散されており、各トピックが意味的に関連する語に囲まれた概念の中心として機能している。
• 特に「desktop」のようなクエリに対して、NSTMに比べてより多様なトピックを発見できた。これは、双方向輸送機構のおかげで意味的カバレッジが広がったためである。
• モデルはスケーラブルであり、繰り返し推論手順を避けることで、大規模コーパスにおけるミニバッチ確率的最適化が可能で、効率的な学習が実現できる。