[论文解读] Privacy-Preserving Multi-Document Summarization

Luís Marujo, José Portêlo+7 more|arXiv (Cornell University)|Aug 6, 2015

Topic Modeling参考文献 18被引用 9

一句话总结

本文提出了一种使用安全二值嵌入（SBE）的隐私保护抽取式多文档摘要方法，以在第三方摘要处理过程中保护敏感文档内容。通过将文档表示转换为保留近似距离的混淆位串，该方法在不暴露原始数据的情况下实现准确摘要，即使在高隐私泄露设置下也能达到接近最先进水平的ROUGE分数。

ABSTRACT

State-of-the-art extractive multi-document summarization systems are usually designed without any concern about privacy issues, meaning that all documents are open to third parties. In this paper we propose a privacy-preserving approach to multi-document summarization. Our approach enables other parties to obtain summaries without learning anything else about the original documents' content. We use a hashing scheme known as Secure Binary Embeddings to convert documents representation containing key phrases and bag-of-words into bit strings, allowing the computation of approximate distances, instead of exact ones. Our experiments indicate that our system yields similar results to its non-private counterpart on standard multi-document evaluation datasets.

研究动机与目标

• 解决在多文档摘要中因需与第三方共享敏感文档而产生的隐私风险。
• 使第三方摘要系统能够在不访问原始文档内容的情况下生成准确摘要。
• 开发一种方法，在使用安全的差分隐私嵌入的同时，保护数据隐私并保持高摘要质量。
• 在真实世界摘要设置中评估隐私泄露与摘要性能之间的权衡。

提出的方法

• 该方法使用安全二值嵌入（SBE），一种局部敏感哈希技术，将词袋和关键词短语表示转换为混淆位串。
• SBE通过应用随机投影，随后进行带状量化，生成保留原始向量之间近似距离的位向量。
• 系统计算SBE编码向量之间的近似欧几里得距离，以支持Waterfall KP-Centrality摘要算法。
• 该方法确保信息论安全性，防止从位串中重建原始数据。
• 该方法仅使用混淆表示进行摘要，消除了向不可信方暴露原始内容的可能性。
• 性能通过标准基准（TAC 2009和DUC 2007）上的ROUGE-1进行评估，参数针对隐私和准确性进行了调优。

实验结果

研究问题

• RQ1 能否设计一种多文档摘要系统，在不牺牲摘要质量的前提下保护隐私？
• RQ2 当仅能使用混淆表示时，SBE的使用对摘要性能的影响程度如何？
• RQ3 通过Δ控制的隐私泄露水平变化如何影响生成摘要的质量？
• RQ4 SBE中每系数的位数（bpc）是否显著影响摘要准确性？
• RQ5 SBE-based混淆能否在保持接近最先进性能的同时，实现安全的第三方摘要？

主要发现

• 在TAC 2009上，该方法在95%泄露率和bpc=16的条件下达到ROUGE-1分数0.491，在DUC 2007上达到0.351，与非私有基线相比性能下降极小。
• 即使在95%泄露率下，其中大多数汉明距离近似于原始欧几里得距离，该方法仍保持了强大的摘要性能。
• 提高泄露参数（Δ）可改善摘要结果，表明保留更多距离信息可提升输出质量。
• 将每系数的位数（bpc）从4增加到16对性能无显著影响，表明该方法对这一参数具有鲁棒性。
• 尽管在算法迭代中需进行多次SBE哈希计算，该系统仍保持接近最先进性能，证明了其实际可行性。
• 该方法提供信息论安全性，确保无法从混淆位串中重建原始文档内容。