[論文レビュー] SAM-PARSER: Fine-tuning SAM Efficiently by Parameter Space Reconstruction

Zelin Peng, Zhengqin Xu+3 more|arXiv (Cornell University)|Aug 28, 2023

Advanced Neural Network ApplicationsComputer Science被引用数 3

ひとこと要約

本稿では、Segment Anything Model (SAM) のためのパラメータ効率の良い微調整手法である SAM-PARSER を提案する。この手法は、SAM の元の重みの特異値分解 (SVD) を用いて、下流タスク固有のパrameter空間を再構築することで、ほぼゼロの追加トレーナブルパラメータで微調整を可能にする。この方法により、自然画像、リモートセンシング、医療画像のデータセットにおいて、最先端のセグメンテーション性能を達成するとともに、従来の手法と比較してトレーナブルパラメータを約290倍削減する。

ABSTRACT

Segment Anything Model (SAM) has received remarkable attention as it offers a powerful and versatile solution for object segmentation in images. However, fine-tuning SAM for downstream segmentation tasks under different scenarios remains a challenge, as the varied characteristics of different scenarios naturally requires diverse model parameter spaces. Most existing fine-tuning methods attempt to bridge the gaps among different scenarios by introducing a set of new parameters to modify SAM's original parameter space. Unlike these works, in this paper, we propose fine-tuning SAM efficiently by parameter space reconstruction (SAM-PARSER), which introduce nearly zero trainable parameters during fine-tuning. In SAM-PARSER, we assume that SAM's original parameter space is relatively complete, so that its bases are able to reconstruct the parameter space of a new scenario. We obtain the bases by matrix decomposition, and fine-tuning the coefficients to reconstruct the parameter space tailored to the new scenario by an optimal linear combination of the bases. Experimental results show that SAM-PARSER exhibits superior segmentation performance across various scenarios, while reducing the number of trainable parameters by $\approx 290$ times compared with current parameter-efficient fine-tuning methods.

研究の動機と目的

• 多様な下流セグメンテーションシナリオにおける SAM の微調整の挑戦に、最小限のパラメータ更新で対処すること。
• セグメンテーション性能を維持または向上させつつ、SAM の微調整におけるトレーナブルパラメータの数を削減すること。
• SAM の元のパラメータ空間が、新しいタスク固有のパラメータ空間を新しいパラメータを追加せずに再構築するのに十分に完全であるかどうかを検証すること。
• 新しいトレーナブルヘッドやアダプタを追加するのではなく、分解された基本ベクトルの係数の微調整に依存する手法を開発すること。

提案手法

• 手法は、SAM の畳み込みエンコーダの重みに対して特異値分解 (SVD) を実行し、直交基底と関連する係数を抽出する。
• 元のパラメータ空間が、これらの基底の線形結合によって新しいタスク固有のパラメータ空間を再構築するのに十分に完全であると仮定する。
• 適応段階では、SVD の係数のみを微調整するため、ほぼゼロの新しいトレーナブルパラメータが発生する。
• パラメータオーバーヘッドを最小限に抑えるために、このアプローチは SAM のエンコーダの畳み込み層に限定して適用する。
• 最適な基底の線形結合は、ターゲットシナリオのパラメータ空間に一致するように係数を微調整することで学習される。
• この手法は、自然画像、リモートセンシング、医療画像セグメンテーションの3つの異なるシナリオに適用される。

実験結果

リサーチクエスチョン

• RQ1 SAM の元のパラメータ空間は、新しい下流セグメンテーションタスクに適応させるために、新しいパラメータを追加せずに十分に再構築可能か？
• RQ2 SVDに基づく係数微調整によるパラメータ空間再構築は、LoRA や Adapter といった既存のパラメータ効率の良い手法と比較して、セグメンテーション性能とパラメータ効率の面でどのように異なるか？
• RQ3 SAM の元のパラメータ空間の完全性の仮定が、どのようなシナリオで破綻するのか、そしてその対処法は何か？
• RQ4 Transformer のコンponentsではなく、畳み込みエンコーダ層にのみ微調整を集中させることで、より高い効率性とパフォーマンスが得られるか？

主な発見

• SAM-PARSER は、最先端のパラメータ効率の良い手法である LoRA と比較して、トレーナブルパラメータを約290倍削減する。
• PASCAL VOC2012 データセットでは、SAM-PARSER は mIoU 86.7% を達成し、ベースラインと LoRA を上回る。
• NWPU VHR-10 リモートセンシングデータセットでは、SAM-PARSER はベースラインより mIoU を1.3ポイント向上させる。
• CT 腹部臓器テストセットでは、SAM-PARSER は DSC 91.1% を達成し、LoRA の90.3% を0.8ポイント上回る。
• SSDD レーダー画像データセットの失敗事例では、SAM-PARSER は LoRA や Adapter よりも性能が劣り、新しいドメインが SAM の事前学習分布からあまりに離れている場合に限界が現れる。
• 定性的な結果から、SAM-PARSER は多様なシナリオにおいて、LoRA や Adapter よりもより正確で一貫性のあるセグメンテーションマスクを生成することが示された。