[論文レビュー] Explainable and Discourse Topic-aware Neural Language Understanding

Yatin Chaudhary, Schütze, Hinrich+1 more|arXiv (Cornell University)|Jun 18, 2020

Topic Modeling被引用数 8

ひとこと要約

本稿では、文脈的トピックの discourse を統合することで、ニューラル言語理解を向上させる、新たなニューラルコンposite言語モデル（NCLM）フレームワークを提案する。潜在的で解釈可能なトピック表現と文レベルのトピック的ディスcourseを統合することで、言語モデリング、語の意味のあいまいさの解消、文書分類、リtrieval における性能が向上する。Leta-NLM は複数のベンチマークで最先端の結果を達成した。

ABSTRACT

Marrying topic models and language models exposes language understanding to a broader source of document-level context beyond sentences via topics. While introducing topical semantics in language models, existing approaches incorporate latent document topic proportions and ignore topical discourse in sentences of the document. This work extends the line of research by additionally introducing an explainable topic representation in language understanding, obtained from a set of key terms correspondingly for each latent topic of the proportion. Moreover, we retain sentence-topic associations along with document-topic association by modeling topical discourse for every sentence in the document. We present a novel neural composite language model that exploits both the latent and explainable topics along with topical discourse at sentence-level in a joint learning framework of topic and language models. Experiments over a range of tasks such as language modeling, word sense disambiguation, document classification, retrieval and text generation demonstrate ability of the proposed model in improving language understanding.

研究の動機と目的

• 既存の言語モデルが文境界を越えて長距離の意味的依存関係を捉える能力に限界があることに対処する。
• トピック分布における高確率の語の抽出から得られる解釈可能なトピック表現を組み込むことで、ニューラル言語モデルの解釈性を向上させる。
• 文レベルのトピック的ディスコースを明示的にモデル化し、文脈と文書レベルのトピック割合の不一致を回避する。
• トピックモデリングと言語モデリングのコンponentを共同で学習させ、文書レベルの意味的理解を向上させる。
• 言語モデリング、WSD、分類、リtrieval といった複数のNLPタスクにおいて、フレームワークの評価を実施する。

提案手法

• フレームワークは、ニューラルトピックモデル（NTM）とニューラル言語モデル（NLM）を共同学習アーキテクチャで統合する。
• 潜在的トピック表現（LTR）は、変分推論を用いて文書レベルのトピック割合から導出される。
• 解釈可能なトピック表現（ETR）は、各トピックの上位5語のキーワードから構築され、解釈可能な意味的文脈を提供する。
• 文-トピック関連性は、NTM を用いて文レベルのトピック割合を計算することでモデル化され、局所的なトピック的ディスコースが保持される。
• 文書レベルの LTR、ETR、および文レベルのトピックベクトルを連結することで、合成表現が形成され、NLM の入力として使用される。
• NLM はこれらの合成表現を用いて次単語の確率を予測し、グローバルおよびローカルなトピック的文脈を統合する。

実験結果

リサーチクエスチョン

• RQ1 キーワードに基づく解釈可能なトピック表現を統合することで、ニューラル言語モデルの解釈性と性能が向上するか？
• RQ2 文書レベルのトピック割合に加えて文レベルのトピック的ディスコースをモデル化することで、トピックの不一致が軽減され、文脈モデリングが向上するか？
• RQ3 トピックモデリングと言語モデリングを共同で学習させることで、下流のNLPタスクにおける性能がどの程度向上するか？
• RQ4 解釈可能なトピックと文-トピック関連性は、潜在的トピック表現のみに比べて、言語理解の向上にどの程度寄与するか？
• RQ5 長距離の意味的依存関係を要するタスク、例えば語の意味のあいまいさの解消や文書リtrieval において、提案されたフレームワークが強力なベースラインを上回るか？

主な発見

• 潜在的および解釈可能なトピック表現に加え、文レベルのトピック関連性を統合した LETA-NLM モデルは、文書リtrieval において最高の平均精度を達成し、20News ではベースラインの NTM より 39.4%、AGnews では 12.5% の向上を示した。
• R21578 データセットでは、LETA-NLM は P@10 スコア 0.675 を達成し、LTA-NLM（0.666）を顕著に上回り、文レベルのトピックモデリングの利点を示した。
• 語の意味のあいまいさの解消において、すべての提案モデル（LTA-NLM、ETA-NLM、LETA-NLM）は BiLSTM-LM ベースラインより高いマイクロ-F1 スコアを達成し、LETA-NLM は 60.7 で BiLSTM-LM の 59.8 を上回った。
• ETA-NLM モデルは 20News で P@5 スコア 0.287 を達成し、LTA-NLM（0.264）を上回り、解釈可能なトピックが潜在的トピックのみに比べてより記述的な文脈を提供することを確認した。
• SE3 データセットでは LETA-NLM が F1 スコア 62.1、SE15 データセットでは 61.1 を達成し、合成的トピック表現による意味の予測精度の向上を示した。
• アブレーションスタディにより、解釈可能なトピックと文-トピック関連性の両方が性能向上に独立して寄与することが確認され、完全な LETA-NLM モデルが最も一貫性のある改善を示した。