[论文解读] A Unified Framework for Generic, Query-Focused, Privacy Preserving and Update Summarization using Submodular Information Measures

Vishal Kaushal, Suraj Kothawade+4 more|arXiv (Cornell University)|Oct 12, 2020

Advanced Image and Video Retrieval Techniques参考文献 28被引用 5

一句话总结

本文提出了一种统一框架，用于通用、查询聚焦、隐私保护及更新型摘要，采用子模信息度量方法，证明了多样化的摘要任务可被建模为单一子模函数族。该方法采用可学习参数的极大间隔混合模型，在新发布的带概念标注图像数据集上，实现了多种摘要类型下的最先进性能。

ABSTRACT

We study submodular information measures as a rich framework for generic, query-focused, privacy sensitive, and update summarization tasks. While past work generally treats these problems differently ({\em e.g.}, different models are often used for generic and query-focused summarization), the submodular information measures allow us to study each of these problems via a unified approach. We first show that several previous query-focused and update summarization techniques have, unknowingly, used various instantiations of the aforesaid submodular information measures, providing evidence for the benefit and naturalness of these models. We then carefully study and demonstrate the modelling capabilities of the proposed functions in different settings and empirically verify our findings on both a synthetic dataset and an existing real-world image collection dataset (that has been extended by adding concept annotations to each image making it suitable for this task) and will be publicly released. We employ a max-margin framework to learn a mixture model built using the proposed instantiations of submodular information measures and demonstrate the effectiveness of our approach. While our experiments are in the context of image summarization, our framework is generic and can be easily extended to other summarization settings (e.g., videos or documents).

研究动机与目标

• 将通用、查询聚焦、隐私保护及更新型摘要任务统一于单一理论框架之下。
• 证明现有摘要技术在无意中依赖于子模信息度量，验证其自然性与有效性。
• 开发一种基于子模互信息与条件增益函数的可学习混合模型，以优化不同意图下的摘要。
• 在合成数据集和真实世界、经隐私增强的带概念标注图像集合数据集上，实证验证该框架。
• 证明 ROUGE 指标是广义子模互信息的特例，将先前工作与所提框架联系起来。

提出的方法

• 该框架以子模互信息（SMI）和条件增益（CG）函数作为摘要建模的核心原语。
• 将摘要形式化为对编码多样性、覆盖度以及相关性/无关性约束的子模函数的优化问题。
• 采用极大间隔学习框架，联合优化不同摘要模式下的混合权重及控制参数（λ, η, ν）。
• 支持单个或多个查询及私有集合，实现对用户意图与约束的灵活处理。
• 通过在多种子模函数（如 GC、FL、LogDet、SC）上实例化框架，并利用 ROUGE 和人工评估进行评估。
• 实验所用数据集已公开发布，每张图像均带有概念标注，以支持查询聚焦与隐私保护任务。

实验结果

研究问题

• RQ1 能否通过子模信息度量，使用单一框架统一处理通用、查询聚焦、隐私保护及更新型摘要？
• RQ2 先前使用的摘要技术是否隐式依赖于子模互信息或条件增益函数？
• RQ3 可学习的子模函数混合模型在捕捉多样化摘要需求方面的有效性如何？
• RQ4 ROUGE 指标能否被解释为广义子模互信息的特例？
• RQ5 可学习参数（η, ν）在不同摘要设置下如何提升性能？

主要发现

• 所提出的混合模型在通用图像摘要任务上平均 ROUGE 得分为 0.477，优于基线方法 GC（0.47）和 FL（0.454）。
• 在查询聚焦摘要任务中，混合模型平均 ROUGE 得分为 0.401，显著优于 GCMI（0.318）和 LogDetMI（0.234）。
• 在隐私保护摘要任务中，混合模型平均 ROUGE 得分为 0.391，优于 PSCCG（0.41）和 SCMI（0.273），且在强约束条件下表现优异。
• 消融实验表明，包含可学习参数 η 和 ν 的模型优于无该参数的模型，查询聚焦设置下平均 ROUGE 从 0.341 提升至 0.401。
• 人工评估显示，混合模型生成的摘要与人类参考摘要的相似度更高（平均 0.470），优于所有基线方法，标准差为 0.041。
• 该框架证明了 ROUGE 是广义 SMI 的特例，将广泛使用的指标与模型的理论基础联系起来。