[论文解读] LeafNATS: An Open-Source Toolkit and Live Demo System for Neural Abstractive Text Summarization

Tian Shi, Ping Wang+1 more|arXiv (Cornell University)|May 28, 2019

Topic Modeling参考文献 28被引用 4

一句话总结

LeafNATS 是一个基于 PyTorch 的开源工具包，用于训练、评估和部署神经网络摘要模型（NATS），具备模块化、可扩展的序列到序列模型框架。它支持高效的多任务学习与迁移学习，通过共享嵌入、编码器和输出层，在模型参数少于 2000 万的情况下，实现了具有竞争力的 ROUGE 分数（例如，在 Newsroom 新闻标题生成任务中 R-1 达到 39.85）。

ABSTRACT

Neural abstractive text summarization (NATS) has received a lot of attention in the past few years from both industry and academia. In this paper, we introduce an open-source toolkit, namely LeafNATS, for training and evaluation of different sequence-to-sequence based models for the NATS task, and for deploying the pre-trained models to real-world applications. The toolkit is modularized and extensible in addition to maintaining competitive performance in the NATS task. A live news blogging system has also been implemented to demonstrate how these models can aid blog/news editors by providing them suggestions of headlines and summaries of their articles.

研究动机与目标

• 提供一个模块化、可扩展且可重用的开源工具包，用于训练和部署神经网络摘要模型（NATS）。
• 通过统一不同架构的训练、验证和推理流程，简化新型 NATS 模型的实现。
• 通过一个实时网络应用，实现 NATS 模型在真实场景中的部署，用于新闻/博客摘要和标题生成。
• 通过多任务学习和迁移学习策略，实现跨任务的高效参数共享，同时保持极低的计算开销。

提出的方法

• 该工具包基于 PyTorch 构建，将组件划分为四个模块化部分：引擎（训练框架）、模块（神经结构单元）、数据（数据处理流水线）和工具（评估与预处理实用工具）。
• 实现了端到端的训练引擎，支持迁移学习、检查点保存和 N 个最佳模型选择，从而实现高效的超参数调优和模型复用。
• 在多个 NATS 任务（如标题生成和摘要生成）之间共享嵌入层、编码器和输出层，以减小模型规模并提升参数效率。
• 在 Newsroom 数据集上应用多任务学习流水线，预先训练共享组件，随后通过迁移学习在 CNN/DM 和 Bytecup 数据集上进行微调。
• 使用 PHP、HTML/CSS 和 jQuery 构建实时网络应用，通过 JSON 实现前后端异步通信，支持实时生成标题和摘要建议。
• 在前端集成注意力可视化功能，用户通过鼠标悬停可查看影响每个生成标记的源词。

实验结果

研究问题

• RQ1 一个模块化且可扩展的工具包在多大程度上能简化神经网络摘要模型的开发与部署？
• RQ2 在多个 NATS 任务（如标题生成与摘要生成）之间共享参数，能在多大程度上减小模型规模，同时保持竞争力的性能表现？
• RQ3 统一的训练框架能否高效支持多样化的 NATS 数据集（如 Newsroom、CNN/DM 和 Bytecup）的多任务学习与迁移学习？
• RQ4 注意力可视化功能在真实摘要演示系统中的集成，对提升用户信任度和交互体验有多大的有效性？

主要发现

• 所提出的模型在 Newsroom 新闻标题生成任务中实现了 ROUGE-1 得分为 39.85，表明其在大规模、多样化数据集上具有出色的性能表现。
• 在摘要生成任务中，模型在 CNN/DM 数据集上达到 ROUGE-L 得分为 33.00，在 Bytecup 数据集上达到 38.01，引入覆盖机制后性能提升了 3.93 分。
• 通过共享嵌入、编码器和输出层，模型在参数少于 2000 万的情况下实现了具有竞争力的结果，显著降低了模型复杂度。
• 实时演示系统成功将 NATS 模型集成到实时网络应用中，支持交互式标题与摘要建议，并具备注意力可视化功能。
• 迁移学习流水线有效实现了预训练组件向新数据集的适应，显著减少了训练时间和资源消耗。