[論文レビュー] Neural Topic Model via Optimal Transport

He Zhao, Dinh Phung+3 more|arXiv (Cornell University)|Aug 12, 2020

Topic Modeling参考文献 48被引用数 5

ひとこと要約

本稿では、事前学習済み単語埋め込みを意味的コスト行列として用い、最適輸送（OT）を活用して文書の単語分布と学習されたトピック分布の間の距離を直接最小化することで、再パラメータ化を回避し、トピック埋め込みを同時に学習する、ニューラルトピックモデル（NSTM）を提案する。この手法は、再パラメータ化を避けることで、短いテキストにおいてもトピックの整合性、多様性、文書表現の品質が向上し、最先端の性能を達成する。

ABSTRACT

Recently, Neural Topic Models (NTMs) inspired by variational autoencoders have obtained increasingly research interest due to their promising results on text analysis. However, it is usually hard for existing NTMs to achieve good document representation and coherent/diverse topics at the same time. Moreover, they often degrade their performance severely on short documents. The requirement of reparameterisation could also comprise their training quality and model flexibility. To address these shortcomings, we present a new neural topic model via the theory of optimal transport (OT). Specifically, we propose to learn the topic distribution of a document by directly minimising its OT distance to the document's word distributions. Importantly, the cost matrix of the OT distance models the weights between topics and words, which is constructed by the distances between topics and words in an embedding space. Our proposed model can be trained efficiently with a differentiable loss. Extensive experiments show that our framework significantly outperforms the state-of-the-art NTMs on discovering more coherent and diverse topics and deriving better document representations for both regular and short texts.

研究の動機と目的

• 従来のニューラルトピックモデル（NTM）の限界、特にトピックの整合性と多様性のトレードオフの悪さ、短いテキストにおける性能の低下を是正すること。
• トピックモデリングにおける複雑な事後分布サンプリングを避けるために、再パラメータ化に依存しないこと。
• 最適輸送を介して単語分布とトピック分布を直接一致させることで、文書表現の質を向上させること。
• ツイートや見出しのようなスパースで短いテキスト入力に対しても、より良い一般化性能とロバストネスを実現すること。
• 埋め込み空間内の幾何的距離を活用して、事前学習済み単語埋め込みをトピックモデリングプロセスに意味的に統合すること。

提案手法

• モデルはエンコーダーを用いて、文書のbag-of-words表現をトピック分布にマップし、観測された単語分布との最適輸送（OT）距離を最小化する。
• OTにおけるコスト行列は、トピックと単語の埋め込み間のコサイン類似度として定義され、トレーニング中に同時に学習される。
• 再パラメータ化を回避するため、OT距離を直接最適化することで、微分可能であり、エンドツーエンドのトレーニングが可能になる。
• トピックと単語の埋め込みは、微分可能なOT損失関数を用いてバックプロパゲーションにより同時に最適化される。
• 本フレームワークは、埋め込み空間の幾何的構造を活用して、トピックと単語の間の意味的関係をモデル化する。
• 再構成の忠実性と意味的整合性の両立を図る微分可能な目的関数を用いてモデルをトレーニングする。

実験結果

リサーチクエスチョン

• RQ1 最適輸送がニューラルトピックモデリングにおいて、文書の単語分布と潜在的トピック分布を効果的に一致させるために有効に利用できるか？
• RQ2 OTのコスト関数として事前学習済み単語埋め込みを用いることで、標準的なNTMと比較してトピックの整合性と多様性が向上するか？
• RQ3 提案手法は、従来のNTMが性能を発揮しない短いテキストにおいて、より優れた文書表現とトピック品質を達成できるか？
• RQ4 再パラメータ化の欠如が、このOTベースのフレームワークにおける学習安定性とモデルの柔軟性に与える影響はいかほどか？
• RQ5 埋め込み空間の幾何的構造が、トピックの解釈可能性と意味的一致をどの程度向上させるか？

主な発見

• NSTMは、全データセットでトピック整合性（TC）とトピック多様性（TD）の両面において、最先端のNTMを顕著に上回り、両指標のバランスが最良である。
• 短いテキストデータセット（WSおよびTMN）では、NSTMが一貫して最高の性能を示し、データスパarsityに対するロバストネスを確認した。
• 文書クラスタリングにおいても、NSTMは全体的に最高の性能を達成しており、KMeansを除き他のNTMと比べて顕著な差を示した。
• スケーラビリティは他のNTMと同等であり、500トピックを有する大規模データセットではProdLDAと同等の速度で、DVAEより速い。
• t-SNE可視化による定性的分析から、トピック埋め込みが意味的な関係を的確に捉えており、解釈可能で幾何的構造を持つことが確認された。
• モデルは多義語の意味を効果的に回復できており、例として「apple」がトピック埋め込みに応じて「会社」から「果物」に意味が変化するのを示した。これは、意味的適応性の高さを示している。