[论文解读] Long Document Summarization with Top-down and Bottom-up Inference

Bo Pang, Erik Nijkamp+4 more|arXiv (Cornell University)|Mar 15, 2022

Topic Modeling被引用 5

一句话总结

本文提出了一种自顶向下与自底向上的推理框架，用于长文档摘要，通过结合局部自注意力机制以获取标记级表示，以及在段落级别应用全局自注意力机制以捕捉长距离依赖关系，从而在提升效率的同时改善性能。该方法在长文本摘要基准测试中达到最先进水平，并且仅使用GPT-3模型0.27%的参数量即可对整本书进行摘要。

ABSTRACT

Text summarization aims to condense long documents and retain key information. Critical to the success of a summarization model is the faithful inference of latent representations of words or tokens in the source documents. Most recent models infer the latent representations with a transformer encoder, which is purely bottom-up. Also, self-attention-based inference models face the challenge of quadratic complexity with respect to sequence length. We propose a principled inference framework to improve summarization models on these two aspects. Our framework assumes a hierarchical latent structure of a document where the top-level captures the long range dependency at a coarser time scale and the bottom token level preserves the details. Critically, this hierarchical structure enables token representations to be updated in both a bottom-up and top-down manner. In the bottom-up pass, token representations are inferred with local self-attention to leverage its efficiency. Top-down correction is then applied to allow tokens to capture long-range dependency. We demonstrate the effectiveness of the proposed framework on a diverse set of summarization datasets, including narrative, conversational, scientific documents and news. Our model achieves (1) competitive or better performance on short documents with higher memory and compute efficiency, compared to full attention transformers, and (2) state-of-the-art performance on a wide range of long document summarization benchmarks, compared to recent efficient transformers. We also show that our model can summarize an entire book and achieve competitive performance using $0.27\%$ parameters (464M vs. 175B) and much less training data, compared to a recent GPT-3-based model. These results indicate the general applicability and benefits of the proposed framework.

研究动机与目标

• 为解决Transformer在处理长文档时全连接自注意力机制带来的二次方计算复杂度问题。
• 通过整合自底向上与自顶向下推理路径，提升抽取式摘要中潜在表征的保真度。
• 在保留长文档中细粒度标记级细节的同时，实现有效的长距离依赖建模。
• 在显著减少模型规模和训练数据量的前提下，实现与大型自回归模型相当的摘要性能。

提出的方法

• 该框架采用分层潜在结构，首先通过自底向上的传递，利用局部自注意力机制推断标记级表征。
• 通过自适应或等权重池化方法，从标记级输出中聚合段落级表征，形成高层抽象。
• 在段落级表征上应用全局自注意力机制，以捕捉文档中跨段落的长距离依赖关系。
• 通过段落级与标记级表征之间的交叉注意力机制执行自顶向下的修正，利用全局上下文更新标记级表征。
• 最终的标记级表征由解码器用于生成抽取式摘要。
• 该模型采用基于Transformer的架构，基于BART进行预训练，并在摘要数据集上进行微调。

实验结果

研究问题

• RQ1 与纯自底向上的Transformer相比，混合的自顶向下与自底向上推理机制是否能提升长文档摘要的质量？
• RQ2 通过段落级表征引入全局上下文，是否能在避免二次方复杂度的前提下增强模型捕捉长距离依赖关系的能力？
• RQ3 局部自注意力机制的感受野大小如何影响长文档上的性能表现？
• RQ4 所提出的框架是否能在大幅减少模型规模和数据需求的情况下实现具有竞争力的摘要性能？
• RQ5 通过交叉注意力机制实现的自顶向下更新是否比其他方法（如拼接）更有效？

主要发现

• 该模型在长文档摘要基准测试中达到最先进性能，涵盖PubMed、arXiv、CNN-DM和BookSum数据集。
• 当局部自注意力机制的感受野大小为1024时，该模型在PubMed数据集上的ROUGE-1、ROUGE-2和ROUGE-L得分分别为48.34、21.40和44.22。
• 随着局部注意力感受野增大，性能持续提升，且在512和1024时观察到显著增益，表明扩展局部上下文具有实际优势。
• 消融实验证明，通过交叉注意力实现的自顶向下更新优于基于拼接的更新方式以及无自顶向下更新的设置，证实了其有效性。
• 该模型仅使用4.64亿参数（即GPT-3的1750亿参数的0.27%）即可对整本书进行摘要，展现出极高的参数效率。
• 该模型在使用远少于近期基于GPT-3的模型所需训练数据量的情况下，仍保持了具有竞争力的性能。