[論文レビュー] Convolution Meets LoRA: Parameter Efficient Finetuning for Segment Anything Model

Zihan Zhong, Zhiqiang Tang+3 more|arXiv (Cornell University)|Jan 31, 2024

Context-Aware Activity Recognition Systems被引用数 12

ひとこと要約

Conv-LoRA はパラメータ効率の高いファインチューニング手法で、MoE-guided のスケール特異エキスパート群を介して SAM の ViT エンコーダへ軽量畳み込み priors を注入し、多様なドメインでセグメンテーションを改善しつつほとんどの SAM 重みを凍結したままにします。

ABSTRACT

The Segment Anything Model (SAM) stands as a foundational framework for image segmentation. While it exhibits remarkable zero-shot generalization in typical scenarios, its advantage diminishes when applied to specialized domains like medical imagery and remote sensing. To address this limitation, this paper introduces Conv-LoRA, a simple yet effective parameter-efficient fine-tuning approach. By integrating ultra-lightweight convolutional parameters into Low-Rank Adaptation (LoRA), Conv-LoRA can inject image-related inductive biases into the plain ViT encoder, further reinforcing SAM's local prior assumption. Notably, Conv-LoRA not only preserves SAM's extensive segmentation knowledge but also revives its capacity of learning high-level image semantics, which is constrained by SAM's foreground-background segmentation pretraining. Comprehensive experimentation across diverse benchmarks spanning multiple domains underscores Conv-LoRA's superiority in adapting SAM to real-world semantic segmentation tasks.

研究の動機と目的

• 医療、リモートセンシングなど、ゼロショット SAM が苦戦するドメイン特有のセグメンテーションで SAM の性能向上を促す動機付け。
• SAM の知識を保持しつつ、画像関連のローカル priors を有効にするパラメータ効率的なファインチューニング手法を提案。
• LoRA を軽量畳み込みと混成エキスパートで拡張し、マルチスケール特徴を扱う Conv-LoRA を開発。
• Conv-LoRA が自然画像、農業、リモートセンシング、医療データセット全般で他のPEFT手法を上回ることを示す。

提案手法

• トランスフォーマーの重みの周りにボトルネックを挿入し、軽量な畳み込みを追加して LoRA を基盤とする（Conv-LoRA）。
• MoE を用いて複数のスケール特異畳み込みエキスパートを作成し、フォワードパス中に上位 k エキスパートを動的に選択するゲーティング機構。
• 各エキスパートが特徴マップをアップサンプリング、畳み込み、ダウンサンプリングして ViT のデフォルトスケールへ戻すことで、適切な特徴スケールにローカル priors を注入。
• エンドツーエンドのファインチューニングのためにプロンプトエンコーダを除去し、マスクデコーダに軽量な分類ブランチを追加して多クラスセグメンテーションを実現。
• SAM の事前学習重みを凍結しつつ、少数の学習可能パラメータで全手法を訓練し、専門家の使用をバランスさせる補助損失を用いる。
• Conv-LoRA をデコーダーのみファインチューニング、BitFit、Adapter、SAM-Adapter、VPT、LST、SSF、LoRA を含むベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 PEFT、特に Conv-LoRA が SAM の高レベルな意味情報の学習能力を回復・強化しつつ、セグメンテーション知識を保持しながらできるか？
• RQ2 MoE ガイド Conv-LoRA による多スケールローカル priors の注入は、自然画像、農業、リモートセンシング、医療データセット全体で二値および多クラスの意味的セグメンテーションを改善するか？
• RQ3 Conv-LoRA は他の PEFT 手法と比較して性能、パラメータオーバーヘッド、訓練効率の点でどうか？
• RQ4 プロンプトを一定に保ち、多クラスデコーダーブランチを追加した場合、セグメンテーションタスクにおけるエンドツーエンドの SAM は実現可能か？

主な発見

• Conv-LoRA は自然画像、農業、リモートセンシング、医療のベンチマーク全般で他の PEFT 手法を一貫して上回る。
• Conv-LoRA は LoRA に比べてパラメータオーバーヘッドがほとんどなく、明確な性能向上をもたらす。
• MoE ベースの動的スケール選択は、多層スケール融合に対して訓練速度の向上とメモリ削減を生む。
• 画像エンコーダのファインチューニング（PEFT でも）は、デコーダーのみの調整よりセグメンテーション品質（mIoU、Dice）にとって有利。
• SAM の二値マスク予測での事前学習は高レベルの意味理解を制限しており、Conv-LoRA がそれを回復するのに寄与。
• 単純なアーキテクチャの変更とPEFTで、マルチクラスセグメンテーションのための SAM のエンドツーエンド適応を実現。