[论文解读] Language Model Pre-training for Hierarchical Document Representations

Ming‐Wei Chang, Kristina Toutanova+2 more|arXiv (Cornell University)|Jan 26, 2019

Topic Modeling参考文献 8被引用 18

一句话总结

本文提出了一种新颖的层次化文档表征预训练方法，通过掩码语言建模和双向序列建模，整合整个文档的上下文信息，以提升文档级自然语言处理任务的性能。实验表明，在文档分割、问答和抽取式摘要任务上均有显著提升，TriviaQA 上最高达 6% 的绝对增益，且无需强化学习即可取得优异结果。

ABSTRACT

Hierarchical neural architectures are often used to capture long-distance dependencies and have been applied to many document-level tasks such as summarization, document segmentation, and sentiment analysis. However, effective usage of such a large context can be difficult to learn, especially in the case where there is limited labeled data available. Building on the recent success of language model pretraining methods for learning flat representations of text, we propose algorithms for pre-training hierarchical document representations from unlabeled data. Unlike prior work, which has focused on pre-training contextual token representations or context-independent {sentence/paragraph} representations, our hierarchical document representations include fixed-length sentence/paragraph representations which integrate contextual information from the entire documents. Experiments on document segmentation, document-level question answering, and extractive document summarization demonstrate the effectiveness of the proposed pre-training algorithms.

研究动机与目标

• 通过利用大规模未标注文本，在标注数据有限的情况下学习有效的层次化文档表征。
• 克服现有预训练方法仅关注局部上下文或单向表征的局限性。
• 通过新颖的预训练目标，实现在层次化文档模型中长距离上下文信息的双向融合。
• 评估在下游任务中对层次化表征的局部（句子）和全局（文档）层级进行预训练的影响。
• 证明预训练高层（文档级）表征相比仅预训练低层（句子级）表征能带来更大的性能增益。

提出的方法

• 提出一种两级层次神经架构：句子内单词表征的上下文建模，以及文档内句子表征的上下文建模。
• 引入从左到右和从右到左的语言建模方法，用于预训练单向层次化表征，将 ELMo 风格方法扩展至文档级上下文。
• 开发一种专为层次化表征设计的掩码语言建模目标，实现高效双向文档级上下文的预训练。
• 采用两阶段训练流程：首先使用所提目标在大规模未标注文档上预训练层次化模型，然后在任务特定标注数据上通过轻量级任务网络进行微调。
• 将预训练表征作为固定特征使用，或在下游任务（如文档分割、段落检索和抽取式摘要）中微调整个模型。
• 使用 ROUGE 分数和段落检索准确率评估性能，与 ELMo 和 skip-thought 向量等强基线模型进行比较。

实验结果

研究问题

• RQ1 能否从大规模未标注文本中预训练层次化文档表征，以提升文档级自然语言处理任务的性能？
• RQ2 与仅预训练低层（句子级）表征相比，预训练高层（文档级）表征是否能带来更大的性能增益？
• RQ3 与单向或孤立的句子表征相比，层次化表征中双向上下文融合如何影响性能？
• RQ4 在不进行任务特定微调或强化学习的情况下，预训练的层次化表征能否超越 ELMo 和 skip-thought 向量等强基线？
• RQ5 在抽取式摘要和问答任务中，局部（句子级）和全局（文档级）上下文建模在层次化预训练中的相对贡献如何？

主要发现

• 所提出的层次化表征掩码语言建模方法，{ extsc{mask-LM}}$^{\text{global}}$，在 TriviaQA 段落检索任务上表现最佳，相比之前工作绝对提升 6%。
• 在 CNN/Daily Mail 摘要任务上，模型在不使用强化学习的情况下取得优异结果，相比之前抽取式摘要方法在 ROUGE-1 上提升 0.9 分，在 ROUGE-L 上提升 0.7 分。
• 在大多数任务中，预训练高层文档表征带来的性能增益大于仅预训练低层句子表征。
• 当作为固定特征应用于文档级 Bi-LSTM 模型时，该模型优于 ELMo 和 skip-thought 向量等强基线，证明了全局层次预训练的优越性。
• 当同时预训练局部和全局表征时，预训练的影响最为显著，证实了多层级上下文建模的价值。
• 结果表明，使用掩码语言建模预训练的双向层次化表征在抽象摘要任务中与自回归生成模型高度互补且极为有效。