[论文解读] Explainable and Discourse Topic-aware Neural Language Understanding

Yatin Chaudhary, Schütze, Hinrich+1 more|arXiv (Cornell University)|Jun 18, 2020

Topic Modeling被引用 8

一句话总结

本文提出了一种新颖的神经复合语言建模（NCLM）框架，将潜在且可解释的主题表征与句子级主题论述相结合，以增强神经语言理解。通过联合建模文档-主题比例、句子-主题关联以及基于关键词的可解释主题，该框架在语言建模、词义消歧、文档分类和检索等多项任务中均提升了性能，Leta-NLM在多个基准测试中取得了最先进结果。

ABSTRACT

Marrying topic models and language models exposes language understanding to a broader source of document-level context beyond sentences via topics. While introducing topical semantics in language models, existing approaches incorporate latent document topic proportions and ignore topical discourse in sentences of the document. This work extends the line of research by additionally introducing an explainable topic representation in language understanding, obtained from a set of key terms correspondingly for each latent topic of the proportion. Moreover, we retain sentence-topic associations along with document-topic association by modeling topical discourse for every sentence in the document. We present a novel neural composite language model that exploits both the latent and explainable topics along with topical discourse at sentence-level in a joint learning framework of topic and language models. Experiments over a range of tasks such as language modeling, word sense disambiguation, document classification, retrieval and text generation demonstrate ability of the proposed model in improving language understanding.

研究动机与目标

• 解决现有语言模型在捕捉句间边界之外的长距离语义依赖方面的局限性。
• 通过整合基于主题分布中高概率词派生的可解释主题表征，增强神经语言模型的可解释性。
• 显式建模句子级主题论述，避免句子上下文与文档级主题比例之间的不匹配。
• 联合学习主题与语言建模组件，以提升文档级语义理解。
• 在多个NLP任务（包括语言建模、WSD、分类和检索）上评估该框架。

提出的方法

• 该框架在联合学习架构中结合了神经主题模型（NTM）与神经语言模型（NLM）。
• 潜在主题表征（LTR）通过变分推理从文档级主题比例中提取。
• 可解释主题表征（ETR）由每个主题的前5个关键词构建，提供可解释的语义上下文。
• 通过NTM计算句子级主题比例来建模句子-主题关联，以保留局部主题论述。
• 通过拼接文档级LTR、ETR与句子级主题向量，形成复合表征，输入至NLM。
• NLM利用这些复合表征预测下一个词的概率，同时融合全局与局部主题上下文。

实验结果

研究问题

• RQ1 将基于关键词的可解释主题表征整合是否能提升神经语言模型的可解释性与性能？
• RQ2 在建模文档级主题比例的同时显式建模句子级主题论述，是否能减少主题不匹配并改善上下文建模？
• RQ3 主题与语言模型的联合学习在下游NLP任务中的性能提升程度如何？
• RQ4 可解释主题与句子-主题关联相较于仅使用潜在主题表征，在提升语言理解方面表现如何？
• RQ5 所提出的框架是否能在需要长距离语义依赖的任务（如词义消歧与文档检索）中超越强基线模型？

主要发现

• Leta-NLM模型（结合潜在与可解释主题表征及句子级主题关联）在文档检索任务中实现了最高的平均精度，在20News上比基线NTM高出39.4%，在AGnews上高出12.5%。
• 在R21578数据集上，Leta-NLM的P@10得分为0.675，显著优于LTA-NLM的0.666，证明了句子级主题建模的优势。
• 在词义消歧任务中，所有提出的模型（LTA-NLM、ETA-NLM、LETA-NLM）的微F1分数均高于BiLSTM-LM基线，其中LETA-NLM达到60.7，高于BiLSTM-LM的59.8。
• ETA-NLM模型在20News上的P@5得分达到0.287，优于LTA-NLM的0.264，证实可解释主题提供了比仅使用潜在主题更丰富的上下文描述。
• LETA-NLM模型在SE3数据集上取得62.1的最高F1分数，在SE15上取得61.1，表明复合主题表征显著提升了语义预测能力。
• 消融实验证实，可解释主题与句子-主题关联均独立贡献于性能提升，完整LETA-NLM模型展现出最一致的性能改进。