[論文レビュー] Rewrite Caption Semantics: Bridging Semantic Gaps for Language-Supervised Semantic Segmentation

Yun Xing, Jian Kang+4 more|arXiv (Cornell University)|Sep 24, 2023

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本稿では、CLIPベースの視覚駆動型検索、テキストから視覚へのガイド付きランク付け、クラスターベースのサンプリングを用いて、画像キャプションに欠落している視覚的コンセプトを拡張することで、言語監視型セマンティックセグメンテーションにおける意味的ギャップを埋める3段階パイプライン、Concept Curation (CoCu) を提案する。CoCu は8つのセグメンテーションベンチマークにおいてゼロショット転移性能を顕著に向上させ、平均mIoUが13.1%に達し、最先端手法を大きく上回る性能を達成する。

ABSTRACT

Vision-Language Pre-training has demonstrated its remarkable zero-shot recognition ability and potential to learn generalizable visual representations from language supervision. Taking a step ahead, language-supervised semantic segmentation enables spatial localization of textual inputs by learning pixel grouping solely from image-text pairs. Nevertheless, the state-of-the-art suffers from clear semantic gaps between visual and textual modality: plenty of visual concepts appeared in images are missing in their paired captions. Such semantic misalignment circulates in pre-training, leading to inferior zero-shot performance in dense predictions due to insufficient visual concepts captured in textual representations. To close such semantic gap, we propose Concept Curation (CoCu), a pipeline that leverages CLIP to compensate for the missing semantics. For each image-text pair, we establish a concept archive that maintains potential visually-matched concepts with our proposed vision-driven expansion and text-to-vision-guided ranking. Relevant concepts can thus be identified via cluster-guided sampling and fed into pre-training, thereby bridging the gap between visual and textual semantics. Extensive experiments over a broad suite of 8 segmentation benchmarks show that CoCu achieves superb zero-shot transfer performance and greatly boosts language-supervised segmentation baseline by a large margin, suggesting the value of bridging semantic gap in pre-training data.

研究の動機と目的

• ウェブクロールされた画像・テキストペairにおいて、キービジュアルコンセプトがキャプションに欠落しているという一般的な意味的ギャップを是正すること。これにより、セマンティックセグメンテーションのための効果的な事前学習が阻害される。
• 事前学習データから欠落している視覚的コンセプトをテキスト表現に統合することで、言語監視型セマンティックセグメンテーションにおけるゼロショット一般化性能を向上させること。
• 取得したコンセプトに意味的バイアスが生じないよう、同時に包括的かつ多様な視覚的コンセプトカバレッジを保証する、堅牢なパイプラインを開発すること。
• コンセプトキュレーションが、ゼロショットセグメンテーションだけでなく、ゼロショット分類性能の向上にも有効であることを示すこと。

提案手法

• ビジョンドリブンエクスパンションは、CLIP埋め込みを用いて他の画像から関連するコンセプトを検索することで、意味的バイアスのない視覚的コンセプトのアーカイブを構築する。
• テキストから視覚へのガイド付きランク付けは、CLIPの視覚・言語統合機能を活用し、入力画像との意味的関連性に基づいて取得したコンセプトをスコア付けする。
• クラスターガイドドサンプリングは、意味的クラスタリングを活用して、重複を避け、多様性の高い高関連性コンセプトを選択する。
• キュレートされたコンセプトは事前学習データに統合され、モデルがテキストクエリと正確なピクセル単位の領域を関連付ける能力が向上する。
• パイプラインは、画像・テキストペアを用いてGroupViTを事前学習し、複数のセグメンテーションベンチマークでゼロショット評価を実施する。
• 再訓練を避けるために、オフザシェルのCLIPモデルを活用することで、効率的かつスケーラブルなコンセプトキュレーションを実現する。

Figure 1: Cross-modal semantic gap is prevalent in web-crawled image-text pairs. As in (a), the caption text often captures certain salient visual concepts only in the paired image but misses many others (i.e., ‘ person ’, ‘ grass ’, and ‘ sky ’) that are also useful in image-text modeling. Leveragi

実験結果

リサーチクエスチョン

• RQ1 他の画像から欠落している視覚的コンセプトを画像キャプションに追加することで、ゼロショットセマンティックセグメンテーション性能が向上するか？
• RQ2 入力画像との関連性を最大化しつつ意味的バイアスを最小限に抑えるために、効果的に視覚的コンセプトを検索・ランク付けする方法は何か？
• RQ3 コンセプトサンプリング段階でクラスタリングを用いて意味的多様性を組み込むことで、ゼロショットセグメンテーションにおける一般化性能が向上するか？
• RQ4 コンセプトキュレーションは、セグメンテーションを越えて、画像分類など他のタスクにおいても、どの程度ゼロショット転移性能を向上させるか？

主な発見

• CoCu は8つのセグメンテーションベンチマークで平均mIoUが13.1%を達成し、ベースラインのGroupViTよりも4.9%の向上を示した。
• アブレーションスタディにより、CoCu の各構成要素—ビジョンドリブンエクスパンション、テキストから視覚へのランク付け、クラスターガイドドサンプリング—が段階的に性能向上に寄与していることが確認された。
• C3、C12、Y14データで事前学習した場合、CoCu はImageNet-1K分類のトップ-1精度を6.2%、トップ-5精度を6.9%向上させ、GroupViTを上回った。
• ビジョンドリブンエクスパンションステージのみで、ベースライン比2.1%のmIoU向上が達成された。これは、意味的バイアス低減におけるその役割の重要性を示している。
• クラスターガイドドサンプリングは、他のサンプリング戦略に比べて最大のマージナルゲインを示し、意味的多様性が堅牢な事前学習に不可欠であることを示している。
• 本手法は、評価された8つのすべてのセグメンテーションベンチマークで一貫して性能を向上させ、広範な適用可能性と一般化能力を示している。

Figure 2: Illustration of vision-driven expansion (above) and text-to-image-guided ranking (below) in CoCu. To compensate for missing semantics, vision-driven expansion establishes an archive of potential matched concepts through image-to-image retrieval, while text-to-vision-guided ranking scores r