[論文レビュー] Coherence-Aware Neural Topic Modeling

Ran Ding, Ramesh Nallapati+1 more|arXiv (Cornell University)|Sep 7, 2018

Topic Modeling参考文献 17被引用数 6

ひとこと要約

本稿では、事前学習済み単語埋め込みを用いてNPMIの微分可能代理関数を構築することで、トピック整合性を訓練中に統合するNTM-Rというニューラルトピックモデルを提案する。周図度と整合性の両方を最適化することで、NTM-Rは周図度の最小限の損失で顕著に高いトピック整合性（NPMI）を達成し、DailyKOS、NIPS、NYTimesを含む複数のデータセットでベースラインモデルを上回る性能を発揮する。

ABSTRACT

Topic models are evaluated based on their ability to describe documents well (i.e. low perplexity) and to produce topics that carry coherent semantic meaning. In topic modeling so far, perplexity is a direct optimization target. However, topic coherence, owing to its challenging computation, is not optimized for and is only evaluated after training. In this work, under a neural variational inference framework, we propose methods to incorporate a topic coherence objective into the training process. We demonstrate that such a coherence-aware topic model exhibits a similar level of perplexity as baseline models but achieves substantially higher topic coherence.

研究の動機と目的

• 周図度は最適化されるが、トピック整合性は訓練後での評価にとどまるトピックモデリング分野におけるギャップを解消すること。
• ニューラル変分推論フレームワークに統合可能な、微分可能で学習可能なトピック整合性の目的関数を構築すること。
• ドキュメント再構築性能（周図度）を損なわせることなく、トピックの解釈可能性を向上させること。
• 多様なテキストデータセットにおける単語埋め込みベースのトピック整合性正則化の有効性を検証すること。

提案手法

• 単語埋め込み間のコサイン類似度を用いて相互情報量項を近似することで、NPMIの微分可能代理関数であるWETC（Word Embedding-based Topic Coherence）を提案する。
• ELBO目的関数にWETCを正則化項として追加することで、周図度と整合性の両方を最適化するNTM-Rというニューラルトピックモデルを導入する。
• WETCの計算に事前学習済みGloVe単語埋め込みを用い、非微分可能な照会を回避しつつ、意味的類似度を活用してNPMIを近似する。
• トピック-語行列を単語埋め込みによって制約する因子分解制約（NTM-F）を導入し、暗黙的に整合性を促進する。
• 正則化と因子分解の両アプローチを統合したNTM-FRを提案し、整合性の向上と訓練の安定性を両立する。
• 固定されたハイパーパrameterを用いてAdadelta最適化法でモデルを訓練し、特に整合性正則化係数λ = 50を設定する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルトピックモデルにおいて、トピック整合性を訓練中に効果的に最適化できるか？
• RQ2 単語埋め込みを用いてNPMIの微分可能近似を構築し、エンドツーエンドの訓練を可能にすることができるか？
• RQ3 整合性に配慮した正則化を組み込むことで、周図度性能を劣化させることなくトピックの解釈可能性が向上するか？
• RQ4 提案手法は、語彙サイズやドキュメントタイプが異なる多様なテキストデータセットに一般化可能か？

主な発見

• NTM-Rは、NTM、NVDM、GSM、ProdLDAなどのベースラインモデルと比較して、同程度またはより良い周図度を維持しながら顕著に高いトピック整合性（NPMI）を達成する。
• DailyKOS、NIPS、NYTimesのデータセットにおいて、NTM-Rは同じ周図度レベルでNPMIを一貫して向上させ、ドメインを越えた一般化を示している。
• NYTimesデータセットでは、WETCの向上は顕著であったがNPMIの向上はわずかにとどまり、名前付きエンティティの割合が高いためNPMIスコアが歪められていた可能性がある。
• NTM-FおよびNTM-FRは初期段階で高いNPMIを達成したが、訓練中にその水準を維持できず、パラメータ空間の縮小により周図度が高くなるという不安定性を示した。
• NTM-Rは周図度対NPMIのパレートフロント上に位置し、他のニューラルトピックモデルと比較して、性能スペクトルの大部分で優れたトレードオフを実現している。
• WETCベースの正則化手法は、多様なデータセットにわたり有効であり、その堅牢性とスケーラビリティを裏付けている。