[論文レビュー] Document Informed Neural Autoregressive Topic Models

Pankaj Gupta, Florian Buettner+1 more|arXiv (Cornell University)|Jan 1, 2018

Topic Modeling参考文献 6被引用数 2

ひとこと要約

この論文では、文書および語の表現を向上させるために、前後の語を含む完全な文脈情報を双方向言語モデルフレームワークに統合する神経的自己回帰的トピックモデル、iDocNADEを提案する。左および右の文脈を別々の前方および後方隠れ層を介して活用することで、iDocNADEは文書のパープレキシティ、トピックの整合性、および検索や分類などの下流NLPタスクにおいて優れた性能を発揮し、6つのデータセットで検索の2%のリtrieval割合においてDocNADEを9.6%上回り、テキスト分類のF1スコアでは7.2%上回る。

ABSTRACT

Context information around words helps in determining their actual meaning, for example "networks" used in contexts of artificial neural networks or biological neuron networks. Generative topic models infer topic-word distributions, taking no or only little context into account. Here, we extend a neural autoregressive topic model to exploit the full context information around words in a document in a language modeling fashion. This results in an improved performance in terms of generalization, interpretability and applicability. We apply our modeling approach to seven data sets from various domains and demonstrate that our approach consistently outperforms stateof-the-art generative topic models. With the learned representations, we show on an average a gain of 9.6% (0.57 Vs 0.52) in precision at retrieval fraction 0.02 and 7.2% (0.582 Vs 0.543) in F1 for text categorization.

研究の動機と目的

• 従来のトピックモデル（例：DocNADE）が過去の文脈（左）しか使用しないという制限を克服し、語と文書の表現を向上させるために、左（過去）および右（未来）の両方の文脈を統合する。
• 文書検索や分類などの下流NLPタスクにおけるニューラルトピックモデルの一般化性能、解釈可能性、適用可能性を向上させる。
• 文書内の各語の周囲の完全な文脈をモデル化することで、より意味的に意味のある語およびトピック表現を学習する。
• 双方向文脈モデリングが、多様なテキストドメインにおいてDocNADEのような単方向モデルと比較して優れたパフォーマンスを発揮することを実証する。

提案手法

• iDocNADEはDocNADEを拡張し、各語の周囲の完全なシーケンスに条件づけられた、前方（左文脈）および後方（右文脈）の2つの並列隠れ層を導入する。
• 語viごについて、共有パラメータを持つ別々のフィードフォワードネットワークを用いて、ppvi|văiqおよびppvi|vąiqの条件付き確率を計算することで、左および右の文脈を統合的にモデル化する。
• 語彙の条件付き確率分布を効率的に計算するために、バイナリ語ツリーを用いた階層的ソフトマックスを採用し、計算複雑性を低減する。
• 語表現は、入力から隠れ層への重み行列Wの列ベクトルW:,viから得られ、文脈に依存する密な埋め込み表現を提供する。
• バックプロパゲーションを用いてエンドツーエンドで訓練し、観測された語シーケンスの対数尤度を最大化することで、左および右の文脈モデリングを最適化する。
• 双方向アーキテクチャにより、長距離依存関係を捉えられ、語の多義的解釈（例：神経科学とコンピュータサイエンスにおける「networks」）を完全な文脈を用いて解消できる。

実験結果

リサーチクエスチョン

• RQ1 神経的トピックモデルに左および右の両方の文脈を統合することで、単方向モデルと比較して、より優れた文書表現学習が達成できるか？
• RQ2 完全な文脈モデリングは、生成されたトピックの整合性および解釈可能性を向上させるか？
• RQ3 iDocNADEにおける双方向文脈モデリングは、DocNADEと比較して、文書検索およびテキスト分類タスクにおけるパフォーマンスをどの程度向上させるか？
• RQ4 このモデルは、ドメイン外およびドメイン内の転移学習設定において、どの程度一般化性能を示すか？

主な発見

• 6つのデータセット全体で、iDocNADEは検索の2%のリtrieval割合において、DocNADEと比較して9.6%の相対的改善（0.57 vs. 0.52）を達成する。
• テキスト分類のF1スコアでは7.2%の相対的向上（0.582 vs. 0.543）を示し、下流タスクへの応用性が優れていることを実証する。
• iDocNADEは、ドメイン内（20NewsGroups）およびドメイン外（SiROBs）の両方のテストセットで、DocNADEより低いパープレキシティを達成し、一般化性能が優れていることを示す。
• 定性的な分析により、iDocNADEが学習するトピックは、20NewsGroupsおよびReuters21758で「宗教」と「取引」のような明確な意味的クラスタを示し、解釈性が高まっていることが確認された。
• iDocNADEが学習する語表現空間では、意味的に関連する語（例：「god」と「christ」）間のコサイン類似度がword2vecよりも高くなる傾向があり、意味的な構造が明確に捉えられている。
• 転移学習の実験では、iDocNADEがDocNADEよりも一般化性能が高く、ドメイン内およびドメイン外の両方のテストセットで低いパープレキシティを示した。