[論文レビュー] ASPS: Augmented Segment Anything Model for Polyp Segmentation

Huiqian Li, Dingwen Zhang+4 more|arXiv (Cornell University)|Jun 30, 2024

Vehicle License Plate Recognition被引用数 4

ひとこと要約

本論文では、ドメインシフトと分布外一般化性能の低さを克服する新しいポリープ分類手法であるASPSを提案する。ASPSは、固定されたViTと学習可能なCNNエンコーダーをクロスブランチ特徴拡張（CFA）で統合し、不確実性誘導予測正則化（UPR）を適用することで信頼性の高い予測スコアを実現する。これにより、プロンプトを必要とせず、5つのポリープデータセットで最先端の性能を達成する。

ABSTRACT

Polyp segmentation plays a pivotal role in colorectal cancer diagnosis. Recently, the emergence of the Segment Anything Model (SAM) has introduced unprecedented potential for polyp segmentation, leveraging its powerful pre-training capability on large-scale datasets. However, due to the domain gap between natural and endoscopy images, SAM encounters two limitations in achieving effective performance in polyp segmentation. Firstly, its Transformer-based structure prioritizes global and low-frequency information, potentially overlooking local details, and introducing bias into the learned features. Secondly, when applied to endoscopy images, its poor out-of-distribution (OOD) performance results in substandard predictions and biased confidence output. To tackle these challenges, we introduce a novel approach named Augmented SAM for Polyp Segmentation (ASPS), equipped with two modules: Cross-branch Feature Augmentation (CFA) and Uncertainty-guided Prediction Regularization (UPR). CFA integrates a trainable CNN encoder branch with a frozen ViT encoder, enabling the integration of domain-specific knowledge while enhancing local features and high-frequency details. Moreover, UPR ingeniously leverages SAM's IoU score to mitigate uncertainty during the training procedure, thereby improving OOD performance and domain generalization. Extensive experimental results demonstrate the effectiveness and utility of the proposed method in improving SAM's performance in polyp segmentation. Our code is available at https://github.com/HuiqianLi/ASPS.

研究の動機と目的

• SAMの事前学習で使用された自然画像と内視鏡的ポリープ画像との間のドメインギャップを解消すること。
• SAMがグローバルで低周波数のパターンに注目するため、しばしば無視されがちな、ポリープ画像における局所的・高周波数特徴を捉える能力を向上させること。
• 分布外（OOD）の内視鏡画像に対する予測の不確実性を低減し、信頼性の高いスコアを実現すること。
• 臨床応用においてプロンプトに依存しないエンドツーエンドのプロンプトフリー学習を可能にするために、プロンプトに依存しないアーキテクチャを実現すること。
• 軽量で効率的な適応フレームワークを用いてドメイン一般化性能と耐性を向上させること。

提案手法

• 学習可能なCNNエンコーダーと固定されたビジョントランスフォーマー（ViT）エンコーダーを統合するクロスブランチ特徴拡張（CFA）を導入し、マルチスケールおよび高周波数特徴の学習を強化する。
• 正解をヒントとして用いる不確実性誘導予測正則化（UPR）を採用し、トレーニング中に不確実性を低減し、信頼性スコアをキャリブレーションする。
• ネック部およびトランスフォーマーブロック内の正規化層を適応させることで、内視鏡ドメインの分布に適合させる。
• フーリエ解析を用いて、CNNブランチがViTベースラインと比較してより多くの高周波数コンテンツを捉えていることを検証する。
• プロンプトを一切使用しないエンドツーエンドのトレーニングを実施し、内視鏡画像に対して直接推論を可能にする。
• UPRにおいてSAMのIoU予測を監視信号として活用し、不確実性の低減と分布外一般化性能の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 純粋なViTベースのSAMと比較して、ハイブリッドCNN-ViTエンコーダー構造がポリープ分類の特徴表現を向上させられるか？
• RQ2 トレーニング段階で不確実性正則化を導入することで、ポリープ分類における分布外一般化性能と信頼性キャリブレーションが向上するか？
• RQ3 元のSAMの重みを微調整せず、かつプロンプトに依存せずにドメイン特化された特徴拡張が可能か？
• RQ4 マルチレベル特徴の統合と位置エンコーディングの置換が、分類精度と耐性に与える影響は？
• RQ5 提案手法は、多様なポリープデータセットにおいて、既存のSAMベースのモデルをどの程度上回るか？

主な発見

• ASPSは5つのポリープデータセットで平均Diceスコア0.914、平均IoU 0.843を達成し、ベースラインのSAMおよびMedSAMやSurgicalSAMなどの先行手法を上回る性能を示した。
• CFAモジュール単体でも、ViT-Bベースラインと比較して平均Diceが31.7%、平均IoUが41.4%向上した。
• CFAとUPRの組み合わせが最良の性能を示し、CVC-ClinicDBデータセットでDiceスコア0.950、IoU 0.905を達成した。
• ネック層の正規化（NN）とヒントベース正則化を組み合わせたUPRが最も高い性能を示し、不確実性低減の有効性を裏付けた。
• フーリエ解析により、CNNブランチがViTエンコーダーと比較して顕著に多くの高周波数コンテンツを捉えていることが確認され、局所的詳細の学習向上を裏付けた。
• 定性的な結果から、ASPSの予測は特にポリープの細かな境界やテクスチャの詳細を捉える点で、正解に近い結果を示した。