[論文レビュー] Topic Compositional Neural Language Model

Wenlin Wang, Zhe Gan+6 more|arXiv (Cornell University)|Dec 28, 2017

Topic Modeling参考文献 46被引用数 38

ひとこと要約

本稿では、行列分解を用いて混合専門家（MoE）言語モデルとニューラルトピックモデルを統合する、効率的でエンドツーエンド学習可能な統合フレームワーク、トピック構成的ニューラル言語モデル（TCNLM）を提案する。TCNLMは、トピック確率重み付きRNN専門家を活用することで、標準RNNや先行のトピック誘導型モデルを上回り、最先端のパープレキシティ低減を達成するとともに、一貫性がありトピックに条件づけられた文を生成する。

ABSTRACT

We propose a Topic Compositional Neural Language Model (TCNLM), a novel method designed to simultaneously capture both the global semantic meaning and the local word ordering structure in a document. The TCNLM learns the global semantic coherence of a document via a neural topic model, and the probability of each learned latent topic is further used to build a Mixture-of-Experts (MoE) language model, where each expert (corresponding to one topic) is a recurrent neural network (RNN) that accounts for learning the local structure of a word sequence. In order to train the MoE model efficiently, a matrix factorization method is applied, by extending each weight matrix of the RNN to be an ensemble of topic-dependent weight matrices. The degree to which each member of the ensemble is used is tied to the document-dependent probability of the corresponding topics. Experimental results on several corpora show that the proposed approach outperforms both a pure RNN-based model and other topic-guided language models. Further, our model yields sensible topics, and also has the capacity to generate meaningful sentences conditioned on given topics.

研究の動機と目的

• RNNベースの言語モデルが長距離の文書レベルの意味を捉える能力に制限を受ける問題を、グローバルなトピック整合性を統合することで解決すること。
• トピックを外部特徴や事後再重み付けとして扱う既存のトピック誘導型言語モデルの非効率性と一般化性能の低さを克服すること。
• トピックモデリングと言語モデリングを統合的に最適化できる、一貫性がありエンドツーエンドで学習可能なアーキテクチャを設計すること。
• 特定のトピックやトピックの組み合わせに条件づけて意味的で意味のある文の生成を可能にし、モデルの解釈可能性を向上させること。

提案手法

• 各文書の潜在的トピック分布を学習するために変分オートエンコーダーを用い、グローバルな意味的整合性を捉える。
• 各トピックがMixture-of-Experts（MoE）構造における専門家として対応し、専門家の重みは文書固有のトピック確率によって決定される。
• RNNの重み行列に行列分解を適用し、トピック依存の成分に分解することでパラメータ数を削減し、過学習を防ぐ。
• 変分下界を最大化することでエンドツーエンドに学習し、トピックモデリングと言語モデリングの目的関数を統合的に最適化する。
• MoE構造により、トピックの関連性に基づいて隠れ状態を動的にルーティングし、文脈に適した単語予測を可能にする。
• 関連する専門家の重みのみを用いてトピック条件付きLSTMジェネレータを構築し、制御された文の生成を実現する。

実験結果

リサーチクエスチョン

• RQ1 グローバルなトピック整合性を統合することで、標準RNNを上回るパープレキシティ低減が、統合型ニューラルトピックモデルと言語モデルアーキテクチャによって達成可能か？
• RQ2 MoEフレームワークにおけるトピック確率重み付き専門家は、局所的な語順のモデリングを効果的に行いながらも、グローバルな意味的整合性を維持できるか？
• RQ3 MoE構造における行列分解に基づくパラメータ共有は、単純なMoEと比較して過学習を防ぎ、学習効率を向上させるか？
• RQ4 個々のトピックや複合トピックに条件づけて、意味的に整合性のある文を生成できるか。これにより、解釈可能性と構成的理解能力が裏付けられるか？

主な発見

• TCNLMは全データセットで最低のテストパープレキシティを達成した：APNEWSで82.67、IMDBで94.64、BNCで125.09。これは基本的なLSTMや単純なMoEモデルを上回る。
• APNEWSおよびIMDBにおいて、TCNLMは最高のトピック整合性スコアを達成し、LDAや他のベースラインと比較して優れたトピック品質を示した。
• 個々のトピックに条件づけて生成された文は意味的でトピック関連のものであり、例として「動物」と「くじ」のような意味的に対照的なトピックペアに対しても適切に応答した。
• より少ないパラメータ数と低い計算コストで運用しながらも、単純なMoE実装を著しく上回った。これは行列分解設計の有効性を示している。
• 大規模なアーキテクチャではトピック整合性がわずかに低下する傾向を示し、逐次モデリングの強さとトピックの解釈可能性の間にはトレードオフがあることが示唆された。
• 定性的な分析により、TCNLMがトピックの意味を効果的に統合し、一貫性のある文の生成を実現していることが確認され、解釈可能性と構成的推論能力が妥当であることが裏付けられた。