[論文レビュー] Top2Vec: Distributed Representations of Topics

Dimo Angelov|arXiv (Cornell University)|Aug 19, 2020

Topic Modeling参考文献 31被引用数 36

ひとこと要約

Top2Vecは、doc2vecとword2vecを用いて文書と語を共に意味空間に埋め込み、トピックの数を自動的に発見し、LDAやPLSAなどの従来モデルよりも情報量が多いトピックベクトルを生成します。

ABSTRACT

Topic modeling is used for discovering latent semantic structure, usually referred to as topics, in a large collection of documents. The most widely used methods are Latent Dirichlet Allocation and Probabilistic Latent Semantic Analysis. Despite their popularity they have several weaknesses. In order to achieve optimal results they often require the number of topics to be known, custom stop-word lists, stemming, and lemmatization. Additionally these methods rely on bag-of-words representation of documents which ignore the ordering and semantics of words. Distributed representations of documents and words have gained popularity due to their ability to capture semantics of words and documents. We present $ exttt{top2vec}$, which leverages joint document and word semantic embedding to find $ extit{topic vectors}$. This model does not require stop-word lists, stemming or lemmatization, and it automatically finds the number of topics. The resulting topic vectors are jointly embedded with the document and word vectors with distance between them representing semantic similarity. Our experiments demonstrate that $ exttt{top2vec}$ finds topics which are significantly more informative and representative of the corpus trained on than probabilistic generative models.

研究の動機と目的

• 事前に定義されたトピック数なしで、大規模なテキストコーパスを要約するためのスケーラブルな方法として、トピックモデリングを動機づける。
• 分散表現を活用して、トピック、文書、語のベクトルが意味的類似性を反映する連続的な意味空間を作成する。
• 意味空間内の密度ベースクラスタリングを介して自動的にトピック数を決定する。
• 密な文書クラスタのセンチロイドとしてトピックベクトルを生成し、代表的な語をそれぞれ最近傍語として抽出する。
• 意味的に類似したより大きなトピックへ小さなトピックを統合することで、階層的なトピック削減を可能にする。

提案手法

• doc2vec (DBOW) と word2vec を訓練して、同じ空間に文書ベクトルと語ベクトルを得ることで、結合意味空間を作成する。
• 次元削減された文書ベクトル（UMAP）上で HDBSCAN によって見つかった文書ベクトルの密な領域としてトピックを表す。
• 元の埋め込み空間における各密な文書クラスタのセントロイドとしてトピックベクトルを計算する。
• 意味空間内の各語ベクトルの最近傍をトピックベクトルとして同定する。
• ストップワードリストや事前定義されたトピック数には頼らず、クラスタの密度と空間内の距離からトピックを明らかにする。
• 任意で、意味的に近い小さなトピックを統合して階層的にトピック数を削減する。

実験結果

リサーチクエスチョン

• RQ1 文書と語を共同で表現する連続的な意味空間をどのように構築して、トピック発見を実現するか？
• RQ2 事前に定義された数なしで、意味空間の密集領域からトピック数を自動推定できるか？
• RQ3 密な文書クラスタから派生したトピックベクトルは、従来の LDA/PLSA のトピックよりも情報量が多く、代表的なトピックを得られるか？
• RQ4 トピックサイズを定量化する方法と、階層的なトピック削減をどのように実行するか？

主な発見

• Top2Vec によって見つかったトピックは、LDAおよびPLSAで見つかったトピックよりもコーパスをより情報量豊かで代表的である（要約欄の主張）。
• 意味のあるトピックを学習するために、ストップワード除去、ステミング、または語形還元を必要としない。
• トピックは、次元削減された文書ベクトル（UMAP）の密度ベースクラスタリング（HDBSCAN）によって自動的に発見される。
• トピック語は、それぞれのトピックベクトルに最も近い語ベクトルであり、高確率だが情報量の少ない語に依存しない。
• トピックのサイズは、各密集クラスタに割り当てられた文書の数に対応し、小さなトピックを最近傍へ統合することで階層的な削減を可能にする。