[論文レビュー] Web-Scale Multimodal Summarization using CLIP-Based Semantic Alignment

Mounvik K, N Harshit|arXiv (Cornell University)|Feb 16, 2026

Topic Modeling被引用数 0

ひとこと要約

要約: トピック用のウェブ/テキスト/画像をリアルタイムで取得し、微調整済み CLIP で視覚情報をランク付けし、必要に応じて BLIP で画像にキャプションを付け、API 経由でマルチモーダル要約を出力する軽量なリアルタイムフレームワーク。 評価は ROC-AUC 0.9270 および正解率 96.99% の強い意味的整合性を示す。

ABSTRACT

We introduce Web-Scale Multimodal Summarization, a lightweight framework for generating summaries by combining retrieved text and image data from web sources. Given a user-defined topic, the system performs parallel web, news, and image searches. Retrieved images are ranked using a fine-tuned CLIP model to measure semantic alignment with topic and text. Optional BLIP captioning enables image-only summaries for stronger multimodal coherence.The pipeline supports features such as adjustable fetch limits, semantic filtering, summary styling, and downloading structured outputs. We expose the system via a Gradio-based API with controllable parameters and preconfigured presets.Evaluation on 500 image-caption pairs with 20:1 contrastive negatives yields a ROC-AUC of 0.9270, an F1-score of 0.6504, and an accuracy of 96.99%, demonstrating strong multimodal alignment. This work provides a configurable, deployable tool for web-scale summarization that integrates language, retrieval, and vision models in a user-extensible pipeline.

研究の動機と目的

• ウェブ、ニュース、画像を横断するトピック主導のマルチモーダル検索の構成可能なパイプラインを開発する。
• ローカルに微調整した CLIP モデルを使用して意味スコアリングを適用し、クエリに対して視覚コンテンツをランク付けする。
• 画像のみのマルチモーダル要約のために BLIP ベースの画像キャプション生成をオプションとして有効にする。
• 可調整可能なパラメータとクエリカスタマイズを備えたライブ API を介してパイプラインを公開する。
• 定量的な画像キャプション整合性指標（ROC-AUC 0.9270、正確度 96.99%）を用いて意味的整合性を評価する。

提案手法

• DuckDuckGo API を用いてユーザ トピックに関連するウェブページ、ニュース、画像を取得する。
• 抽出されたテキストと画像をフィルタリング・構造化し、必要に応じて BLIP で上位画像にキャプションを付ける。
• テキスト、画像、プロンプト間の意味的整合性を得るため、500 サンプルの画像キャプション対で CLIP モデルを微調整する。
• テキストの関連性と画像-キャプション整合性のバランスを取る可変ウェイト alpha を用いてマルチモーダルスコアを計算する。
• 上位にランク付けされたセグメントから要約を生成し、 Markdown、JSON、またはダウンロード可能な形式で出力する。
• セグメント制限、閾値、ファストモードなど、設定可能なパラメータを備えた Gradio ベースのインターフェースと API を公開する。

実験結果

リサーチクエスチョン

• RQ1 CLIP ベースのモデルはウェブスケール環境で取得したウェブテキストと画像をユーザーのトピックとどれだけ効果的に整合させられるか。
• RQ2 マルチモーダルスコアリングがテキストのみのベースラインと比較して検索精度と要約の一貫性に与える影響は。
• RQ3 オプションの BLIP キャプション生成は画像に基づく要約品質を改善するか。
• RQ4 フェッチ制限と意味閾値を調整した場合、システムはリアルタイムに安定して動作するか。

主な発見

• 最終的な整合性強化モデルは評価設定で正解率 96.99% を達成。
• 整合性モデルの ROC-AUC は 0.9270、500 サンプルの画像キャプション対で positive あたり 20 のネガティブを用いた。
• マルチモーダルスコアリングは関連性の低い結果の包含を抑制しつつ、意味のあるトピック-画像-テキストのペアを保持する。
• テキストのみのベースラインと比較して、マルチモーダルアプローチは一貫した要約のためのセグメント選択品質を向上させる。
• アブレーション研究は CLIP ベースの整合性とオプションの BLIP キャプション生成が性能に与える影響を示す。
• システムは設定可能なパラメータをサポートし、リアルタイムのウェブスケール要約のためのデプロイ可能で透明なパイプラインを提供する。