[论文解读] DOC2PPT: Automatic Presentation Slides Generation from Scientific Documents

Tsu-Jui Fu, William Yang Wang+2 more|arXiv (Cornell University)|Jan 28, 2021

Video Analysis and Summarization被引用 5

一句话总结

本文提出 DOC2PPT，一种层次化序列到序列模型，可从科学文献自动生成结构化、视觉对齐的演示文稿幻灯片。通过整合文档摘要、改写、图文匹配和布局预测，该方法优于强基线模型，并生成高质量的幻灯片文稿，其有效性基于一个包含 5,873 对配对文档-幻灯片文稿的新数据集。

ABSTRACT

Creating presentation materials requires complex multimodal reasoning skills to summarize key concepts and arrange them in a logical and visually pleasing manner. Can machines learn to emulate this laborious process? We present a novel task and approach for document-to-slide generation. Solving this involves document summarization, image and text retrieval, slide structure and layout prediction to arrange key elements in a form suitable for presentation. We propose a hierarchical sequence-to-sequence approach to tackle our task in an end-to-end manner. Our approach exploits the inherent structures within documents and slides and incorporates paraphrasing and layout prediction modules to generate slides. To help accelerate research in this domain, we release a dataset about 6K paired documents and slide decks used in our experiments. We show that our approach outperforms strong baselines and produces slides with rich content and aligned imagery.

研究动机与目标

• 为解决从科学文献自动生成演示文稿幻灯片的挑战，该任务需要多模态推理、摘要生成和视觉布局理解。
• 通过在统一框架中整合结构、文本和视觉元素，弥合文档摘要与幻灯片生成之间的差距。
• 开发一种系统，生成包含简洁要点文本、相关图表和连贯视觉布局的幻灯片文稿，适合作为人类优化的 AI 辅助初稿。
• 发布一个包含 5,873 对配对的科学文献与幻灯片文稿的新基准数据集，以加速文档到幻灯片生成领域的研究。
• 引入新颖的评估指标，用于评估生成幻灯片中文本相似度、图表相关性以及图文对齐程度。

提出的方法

• 提出一种层次化序列到序列架构，按部分处理文档并逐张生成幻灯片，使用嵌入表示来捕捉结构上下文。
• 引入一个改写模块，利用对象感知隐藏状态 $h^{obj}$ 将完整句子的文档内容转换为简洁的项目符号式短语。
• 引入文本-图表匹配目标，以确保相关图表与其对应文本内容位于同一张幻灯片上。
• 采用后处理步骤，利用可学习阈值 $\theta^R$ 和 $\theta^A$ 基于多模态嵌入移除无关图表并添加高度相关的图表。
• 探索基于模板和学习的布局设计策略，定性结果显示应用 Microsoft PowerPoint Design Ideas 等工具后视觉吸引力显著提升。
• 使用层次化策略网络，根据当前内容和先前上下文决定何时切换到下一节或下一张幻灯片。

实验结果

研究问题

• RQ1 仅使用输入文档和配对训练数据，机器学习模型能否自动生成连贯且视觉对齐的幻灯片文稿？
• RQ2 结合结构嵌入和改写的层次化序列到序列模型，在生成与人工编写的幻灯片内容匹配的幻灯片内容方面效果如何？
• RQ3 整合图文匹配和布局预测在多大程度上提升了生成幻灯片的质量和视觉连贯性？
• RQ4 基于模板和学习的布局策略在多大程度上影响了生成幻灯片文稿的感知质量和专业度？
• RQ5 生成的幻灯片文稿能否作为高质量初稿供人类修订，从而减少演示文稿制作的时间和精力投入？

主要发现

• 所提出的结合改写和图文匹配的层次化序列到序列模型在 Rouge-L 指标上达到 34.27 分，显著优于缺少 $h^{obj}$ 组件的基线模型（31.95 分）。
• 在改写模块中引入对象感知状态 $h^{obj}$ 使 Rouge-L 提升 0.32 分，证明其在上下文感知文本转换中的价值。
• 使用 $\theta^R = 0.8$ 和 $\theta^A = 0.9$ 进行后处理可最大化 LC-F1，表明在图表相关性与噪声去除之间达到最佳平衡。
• 人工评估确认，生成的幻灯片在文本内容和图表位置方面与真实标注文稿高度相似，文本与视觉元素间对齐良好。
• 将 Microsoft PowerPoint Design Ideas 应用于生成的模板后，视觉吸引力显著提升，使输出结果适合作为专业初稿供人工编辑。
• 发布的 5,873 对配对文档-幻灯片文稿数据集为未来文档到幻灯片生成研究提供了稳健的基准。