[论文解读] Web-Scale Multimodal Summarization using CLIP-Based Semantic Alignment

Mounvik K, N Harshit|arXiv (Cornell University)|Feb 16, 2026

Topic Modeling被引用 0

一句话总结

一个轻量级的实时框架， retrieves web/text/images for a topic，使用微调的 CLIP 对视觉进行排序，必要时使用 BLIP 对图像进行字幕并通过 API 输出多模态摘要。评估显示与语义对齐强相关，ROC-AUC 0.9270，准确率 96.99%。

ABSTRACT

We introduce Web-Scale Multimodal Summarization, a lightweight framework for generating summaries by combining retrieved text and image data from web sources. Given a user-defined topic, the system performs parallel web, news, and image searches. Retrieved images are ranked using a fine-tuned CLIP model to measure semantic alignment with topic and text. Optional BLIP captioning enables image-only summaries for stronger multimodal coherence.The pipeline supports features such as adjustable fetch limits, semantic filtering, summary styling, and downloading structured outputs. We expose the system via a Gradio-based API with controllable parameters and preconfigured presets.Evaluation on 500 image-caption pairs with 20:1 contrastive negatives yields a ROC-AUC of 0.9270, an F1-score of 0.6504, and an accuracy of 96.99%, demonstrating strong multimodal alignment. This work provides a configurable, deployable tool for web-scale summarization that integrates language, retrieval, and vision models in a user-extensible pipeline.

研究动机与目标

• 为跨网络、新闻和图像的主题驱动多模态搜索开发可配置的管线。
• 使用本地微调的 CLIP 模型进行语义评分，以对查询对齐视觉内容。
• 为仅图像多模态摘要可选地启用基于 BLIP 的图像字幕。
• 通过可调整参数和查询自定义的实时 API 提供管线。
• 使用定量的图像-字幕匹配指标评估语义对齐（ROC-AUC 0.9270，准确率 96.99%）。

提出的方法

• 使用 DuckDuckGo API 检索与用户主题相关的网页、新闻和图像。
• 筛选并结构化提取的文本与图像；可选地用 BLIP 对顶部图像进行字幕。
• 在 500 对图像-字幕对上微调一个 CLIP 模型，以实现文本、图像与提示之间的语义对齐。
• 计算多模态分数，设定可控权重 alpha，以在文本相关性和图像-字幕对齐之间取得平衡。
• 从排名靠前的片段生成摘要，并提供 Markdown、JSON 或可下载格式的输出。
• 提供基于 Gradio 的界面和 API，具有可配置参数（分段限制、阈值、快速模式等）。

实验结果

研究问题

• RQ1 在网络规模环境中，基于 CLIP 的模型在多大程度上能够将检索到的网页文本和图像与用户主题对齐？
• RQ2 与文本单一基线相比，多模态评分对检索精度和摘要连贯性的影响如何？
• RQ3 可选的 BLIP 字幕是否提升了基于图像的摘要质量？
• RQ4 系统能否在可调取数限和语义阈值下实现实时运行？

主要发现

• 最终对齐增强模型在评估设置中达到 96.99% 的准确率。
• 对齐模型在 500 对图像-字幕对、每正例 20 个负例的条件下，ROC-AUC 为 0.9270。
• 多模态评分减少了不相关结果的包含，同时保留了有意义的主题-图像-文本配对。
• 与文本单一基线相比，多模态方法在段落选择质量方面提升了连贯摘要的质量。
• 消融研究显示 CLIP 基于对齐和可选 BLIP 字幕对性能的影响。
• 系统支持可配置参数，提供可部署、透明的实时网络规模摘要管线。