[論文レビュー] Prompt-Matched Semantic Segmentation

Lingbo Liu, Jianlong Chang+4 more|arXiv (Cornell University)|Aug 22, 2022

Advanced Neural Network Applications被引用数 12

ひとこと要約

本稿では、凍結された視覚基盤モデルにおけるセマンティックセグメンテーションのパラメータ効率的微調整のための段階的プロンプトマッチングフレームワークを提案する。CNNおよびTransformerバックボーンの各段階の間に軽量なセマンティック認識プロンプトマッチャー（SPM）を挿入することで、中間的セマンティックマップを用いて段階的に効果的な視覚的プロンプトを学習する。これにより、たった176万パラメータのトレーニングで最先端の性能を達成し、フル微調整や従来のプロンプト微調整手法を上回る。

ABSTRACT

The objective of this work is to explore how to effectively and efficiently adapt pre-trained visual foundation models to various downstream tasks of semantic segmentation. Previous methods usually fine-tuned the entire networks for each specific dataset, which will be burdensome to store massive parameters of these networks. A few recent works attempted to insert some extra trainable parameters into the frozen networks to learn visual prompts for parameter-efficient tuning. However, these works showed poor generality as they were designed specifically for Transformers. Moreover, using limited information in these schemes, they exhibited a poor capacity to learn beneficial prompts. To alleviate these issues, we propose a novel Stage-wise Prompt-Matched Framework for generic and effective visual prompt tuning. Specifically, to ensure generality, we divide the pre-trained backbone with frozen parameters into multiple stages and perform prompt learning between different stages, which makes the proposed scheme applicable to various architectures of CNN and Transformer. For effective tuning, a lightweight Semantic-aware Prompt Matcher (SPM) is designed to progressively learn reasonable prompts with a recurrent mechanism, guided by the rich information of interim semantic maps. Working as deep matched filter of representation learning, the proposed SPM can well transform the output of the previous stage into a desirable input for the next stage, thus achieving the better matching/stimulating for the pre-trained knowledge. Extensive experiments on four benchmarks demonstrate that the proposed scheme can achieve a promising trade-off between parameter efficiency and performance effectiveness. Our code and models will be released.

研究の動機と目的

• 変換器に限定され、パラメータ効率性に欠ける既存のプロンプト微調整手法の非効率性と一般化性能の低さを是正すること。
• 凍結されたCNNおよびTransformerバックボーンに対する効果的かつ汎用的なセマンティックセグメンテーションタスクの微調整を可能にすること。
• 最終分類損失に依存するのではなく、豊富な中間的セマンティック表現を活用することで、プロンプト学習を向上させること。
• 高速で段階内埋め込み型推論デバイスに適したパラメータ効率的チューニングフレームワークを設計すること。
• 多様なアーキテクチャ間での互換性を維持しつつ、最小限のトレーニング可能なパラメータで優れた性能を達成すること。

提案手法

• 凍結バックボーンを複数の段階に分割し、隣接する段階の間に軽量なセマンティック認識プロンプトマッチャー（SPM）を挿入してプロンプトチューニングを実施する。
• SPMは、前段の段階からの中間的セマンティックマップをガイドとして、再帰的メカニズムを用いて視覚的プロンプトを段階的に精錬する。
• SPMは特徴マップとセマンティック確率ベクトルを連結し、1×1畳み込みとPDCモジュールを用いて、精錬されたプロンプトを生成する。
• SPMは深層マッチドフィルタとして機能し、1段階目の出力を次の段階に最適な入力に変換することで、知識の転送を強化する。
• このフレームワークは、ResNetなどのCNN（例）とViTなどのTransformer（例）に適用可能であり、アーキテクチャ間での汎用性を実現する。
• SPMはバックボーンの構造的変更なしに、セグメンテーションヘッドの損失のみを用いてエンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャの変更なしに、CNNおよびTransformerアーキテクチャの両方に対して汎用的なプロンプト微調整フレームワークを構築できるか？
• RQ2 最終分類損失に依存するのではなく、中間的セマンティックマップを効果的に活用することで、プロンプト学習を向上させられるか？
• RQ3 段階的かつ再帰的プロンプト学習メカニズムが、性能およびパラメータ効率性の両面で既存のプロンプト微調整手法を上回れるか？
• RQ4 本手法は、フル微調整やヘッド微調整と比較して、トレーニング可能なパラメータを大幅に削減しながらも、強力な性能を維持できるか？
• RQ5 本フレームワークは、自然画像、衛星画像、医療画像セグメンテーションなどの多様な下流タスクに効果的に適用できるか？

主な発見

• Cityscapesベンチマークにおいて、本手法は平均交差率（mIoU）45.05を達成し、フル微調整（47.53）および他のプロンプト微調整手法を上回った。
• COCO-Stuffデータセットでは、たった176万パラメータで44.18 mIoUを達成し、高いパラメータ効率性を示した。
• 画像認識タスクでは、CIFAR-100でトップ1正答率86.62％を達成し、フル微調整（85.90％）およびAdaptFormer（85.90％）を上回った。
• 平均して、フル微調整のトレーニングパラメータ数のたった1.16％にまで削減されながら、すべてのベンチマークで性能を維持または上回った。
• SPMフレームワークはアーキテクチャ間で良好に一般化され、自然画像、衛星画像、医療画像セグメンテーションデータセットで強力な結果を達成した。
• アブレーションスタディにより、ブラックボックス最適化と比較して、中間的セマンティックマップを活用することで、プロンプト品質および下流性能が顕著に向上することが確認された。