[論文レビュー] MediViSTA: Medical Video Segmentation via Temporal Fusion SAM Adaptation for Echocardiography

Sekeun Kim, Jin, Pengfei+10 more|arXiv (Cornell University)|Sep 24, 2023

Advanced Neural Network ApplicationsComputer Science被引用数 3

ひとこと要約

本論文では、エコーカーデオグラフィーにおけるゼロショット医療動画セグメンテーションを目的として、セグメンテーション・アモルファス・モデル（SAM）を適応させる新しいスパatio-temporalアダプターフレームワーク、MediViSTA-SAMを提案する。クロスフレームアテンション、マルチスケールU字型エンコーディング、および変更されたマスクデコーダーを統合することで、マルチベンダーエコーカーデオグラフィー・データセットにおいて、87.0%のDiceスコアと0.06の時間的滑らかさを達成し、最先端の性能を実現した。

ABSTRACT

Despite achieving impressive results in general-purpose semantic segmentation with strong generalization on natural images, the Segment Anything Model (SAM) has shown less precision and stability in medical image segmentation. In particular, the original SAM architecture is designed for 2D natural images and is therefore not support to handle three-dimensional information, which is particularly important for medical imaging modalities that are often volumetric or video data. In this paper, we introduce MediViSTA, a parameter-efficient fine-tuning method designed to adapt the vision foundation model for medical video, with a specific focus on echocardiographic segmentation. To achieve spatial adaptation, we propose a frequency feature fusion technique that injects spatial frequency information from a CNN branch. For temporal adaptation, we integrate temporal adapters within the transformer blocks of the image encoder. Using a fine-tuning strategy, only a small subset of pre-trained parameters is updated, allowing efficient adaptation to echocardiographic data. The effectiveness of our method has been comprehensively evaluated on three datasets, comprising two public datasets and one multi-center in-house dataset. Our method consistently outperforms various state-of-the-art approaches without using any prompts. Furthermore, our model exhibits strong generalization capabilities on unseen datasets, surpassing the second-best approach by 2.15\% in Dice and 0.09 in temporal consistency. The results demonstrate the potential of MediViSTA to significantly advance echocardiographical video segmentation, offering improved accuracy and robustness in cardiac assessment applications.

研究の動機と目的

• 自然画像データセット（SAMの事前学習に使用）と医療画像モality、特にエコーカーデオグラフィーとの間のドメインギャップを解消すること。
• 画像の物理的特性、アーティファクト、マルチベンダーデータの分布の違いにより、SAMが医療動画セグメンテーションで低い性能を示す問題を克服すること。
• ターゲット医療データに対する微調整なしに、エコーカーデオグラフィー動画セグメンテーションにおけるゼロショット一般化を可能にすること。
• 境界の明確化と時間的整合性を向上させるために、空間のマルチスケール特徴学習と長距離・短距離の時間的モデリングを統合すること。
• 事前学習済みSAMの重みを保持しつつ、効果的な医療動画理解を可能にするパラメータ効率の良い適応フレームワークを開発すること。

提案手法

• 直前のフレームを参照として用いることで、時間的ダイナミクスをモデル化するクロスフレームアテンションを適用するスパatio-temporalアダプタを提案する。
• さまざまなサイズの物体を捉えるために、マルチスケール特徴抽出を実装したU字型エンコーダーを実装する。
• 多様な解剖的構造にわたるセグメンテーション精度を向上させるために、変更されたマスクデコーダーを導入する。
• 時間的アテンションと空間的アテンションを逐次的に適用する（時間的アテンションを先に実行し、その後空間的アテンションを適用）ことで最適な特徴統合を実現する二本のアテンション機構を採用する。
• 事前学習済みのViTベースのSAM（vit_h, vit_l, vit_b）をバックボーンとして使用し、重みを保持することでゼロショット転移学習を可能にする。
• 元のSAMの重みを凍結し、アダプターやデコーダー部のみを学習することで、パラメータ効率の良い適応を実現する。

Figure 1: Image-to-video transfer learning strategies. (a)Vanilla transformer block (b) 3D adapter with depthwise 3D convolution [ 20 ] (c) 2D image to 3D adapter [ 33 ] (d) Proposed medical video spatio-temporal adapter (MediViSTA).

実験結果

リサーチクエスチョン

• RQ1 セグメンテーション・アモルファス・モデル（SAM）は、エコーカーデオグラフィーにおけるゼロショット医療動画セグメンテーションに効果的に適応可能か？
• RQ2 参照フレームを用いたクロスフレームアテンションを組み込むことで、時間的整合性とセグメンテーション精度はどのように向上するか？
• RQ3 マルチスケール特徴統合と変更されたマスクデコーダーの貢献は、小規模でサイズが変動する心臓構造の性能にどのように寄与するか？
• RQ4 時間的アテンションと空間的アテンションの処理順序は、医療動画のセグメンテーション結果にどのように影響するか？
• RQ5 事前学習済みSAMバックボーンを用いることで、初期学習から訓練する場合と比較して、ゼロショット一般化はどの程度向上するか？

主な発見

• 提案されたMediViSTA-SAMフレームワークは、87.0%のDiceスコアと0.06の時間的滑らかさを達成し、すべてのアブレーション変種および最先端手法を上回る性能を示した。
• アブレーションスタディの結果、マルチスケール統合が顕著な貢献を示しており、その除去によるDiceスコアの低下は1.1%に達し、時間的滑らかさは0.03上昇した。
• クロスフレームアテンションの導入により、ベースラインと比較してDiceスコアが0.2%向上し、時間的滑らかさは0.09から0.06に顕著に低下した。
• 最大の事前学習済みSAMバックボーン（vit_h）を用いることで、最高のDice（87.0%）と最小の時間的滑らかさ（0.06）が達成され、大規模モデルの利点が確認された。
• 事前学習済みSAMの重みを用いない訓練では、Diceスコアが4.42%低下した。これは、事前学習が医療画像セグメンテーションの下流タスクにおいて極めて重要な役割を果たしていることを示している。
• スパatio-temporalアダプタとマルチスケール統合の両方を備えた完全なモデルが、最高の性能（87.0%のDice、0.06のL）を達成し、すべてのコンポONENTの相乗効果を確認した。

Figure 2: The overview of MedViSTA-SAM, which consists of long and short range cross-frame attention and spatial transformer with U-shaped framework for medical video segmentation. We need reshape input [B, T, C, H, W] to [BT, C, H, W ] for our framework. During training, blue part are frozen while