[論文レビュー] False Negative/Positive Control for SAM on Noisy Medical Images

Xing Yao, Han Liu+10 more|arXiv (Cornell University)|Aug 20, 2023

Medical Image Segmentation Techniques被引用数 5

ひとこと要約

本論文は、微調整を必要とせず、ノイズが多くコントラストが低い超音波画像におけるSegment Anything Model (SAM) の性能を向上させるために、テスト段階でのプロンプト拡張手法を提案する。この手法は、モンテカルロによるバウンディングボックスサンプリングと、Aleatoric不確実性に基づく偽陰性/偽陽性補正（FNPC）を組み合わせ、ノイズの多い低コントラストの超音波画像でも効果的に機能する。このアプローチにより、プロンプト品質のばらつきに対してもゼロショット分類のロバスト性と一般化性能が向上し、腎臓および胎盤の超音波データセットで最先端の結果を達成した。さらに、SS2Vフレームワークを用いて1つの2次元バウンディングボックスから3次元分類を実現した。

ABSTRACT

The Segment Anything Model (SAM) is a recently developed all-range foundation model for image segmentation. It can use sparse manual prompts such as bounding boxes to generate pixel-level segmentation in natural images but struggles in medical images such as low-contrast, noisy ultrasound images. We propose a refined test-phase prompt augmentation technique designed to improve SAM's performance in medical image segmentation. The method couples multi-box prompt augmentation and an aleatoric uncertainty-based false-negative (FN) and false-positive (FP) correction (FNPC) strategy. We evaluate the method on two ultrasound datasets and show improvement in SAM's performance and robustness to inaccurate prompts, without the necessity for further training or tuning. Moreover, we present the Single-Slice-to-Volume (SS2V) method, enabling 3D pixel-level segmentation using only the bounding box annotation from a single 2D slice. Our results allow efficient use of SAM in even noisy, low-contrast medical images. The source code will be released soon.

研究の動機と目的

• 標準的なプロンプトが偽陰性および偽陽性を引き起こすノイズが多くコントラストが低い医療用超音波画像において、SAMの性能が著しく劣化することを是正する。
• 追加のトレーニングやピxlsレベルのアノテーションを必要とせず、プロンプトの粗さ（例えば、不正確なバウンディングボックス）に対するゼロショット分類のロバスト性を向上させる。
• 推論段階で不確実性推定を活用し、SAMの予測結果における分類エラーを是正する手法を開発する。
• Single-Slice-to-Volume (SS2V) 法を用いて、1つの2次元バウンディングボックスアノテーションから3次元ボリュームへの分類を実現する。
• 実世界の医療画像処理タスク（腎臓および胎盤の超音波画像分類）において、複数のプロンプト品質レベルで本手法の有効性を実証する。

提案手法

• 初期プロンプトの周囲にN+1個のバウンディングボックスを、半径R = (1/M) × min(BBエッジ) の範囲内でモンテカルロサンプリングにより生成し、人間によるアノテーションのばらつきを模倣する。
• 複数のサンプルされたバウンディングボックスからの予測結果を用いて平均化されたセグメンテーションマスクを算出し、アンサンブル予測からのAleatoric不確実性マップにより不確実性を推定する。
• 2段階のしきい値処理戦略を実装：まず、グローバルな不確実性しきい値（T_UC）を適用して低信頼度領域を特定し、次に、分類誤り（偽陰性・偽陽性）の是正に用いる別々の高/低しきい値（T_FNh, T_FPl, T_FPh, T_FPl）を適用する。
• FNPC戦略を推論パイプラインに統合し、再トレーニングや微調整を一切行わずに、SAM出力を後処理で精緻化する。
• Single-Slice-to-Volume (SS2V) 法を開発：1つの基準スライスからの予測マスクに基づき、3次元ボリューム全体にわたって合成された2次元バウンディングボックスを生成し、1つの手動アノテーションから完全な3次元分類を実現する。
• 基準スライスからのFNPC補正済みマスクを用いて、隣接スライスにおける合成BBの生成をガイドし、一貫性を維持するとともに、誤差の伝搬を低減する。

実験結果

リサーチクエスチョン

• RQ1 複数のバウンディングボックスによるプロンプト拡張と不確実性に基づく是正を組み合わせることで、ノイズの多い超音波画像におけるSAMの偽陰性および偽陽性領域を顕著に低減できるか？
• RQ2 標準的なSAMおよび単純な平均化手法と比較して、本手法のFNPCはプロンプト品質の変動（高精度、中程度、粗いバウンディングボックス）に対してどの程度ロバストか？
• RQ3 SS2V法を用いて、1つの2次元バウンディングボックスアノテーションから、ボリューム型超音波データにおいて正確な3次元ピxlsレベル分類をどの程度達成できるか？
• RQ4 推論段階でAleatoric不確実性推定を統合することで、追加のモデルトレーニングなしに分類の信頼性と性能が向上するか？
• RQ5 本手法は腎臓や胎盤といった異なる医療画像処理タスクに一般化可能であり、低コントラスト・ノイズ環境下でも高い性能を維持できるか？

主な発見

• 腎臓超音波画像分類において、FNPCは全プロンプトレベル（高精度、中程度、粗い）でDiceスコア0.88 ± 0.04を達成し、SAM（0.87–0.77）および平均化手法（0.87–0.70）を上回った。また、高精度から粗いプロンプトへの性能低下が最小限に抑えられた。
• 胎盤分類において、FNPCはDiceスコア0.78 ± 0.08を達成し、SAM（0.71 ± 0.24）および平均化手法（0.70 ± 0.17）を顕著に上回った。HDは52%低減（3.49 vs. 3.87）、ASSDは54%低減（0.55 vs. 1.21）を達成した。
• SS2V法は、1つの2次元バウンディングボックスのみを用いて胎盤3次元分類でDiceスコア0.72 ± 0.17を達成し、FNPCの性能（0.78 ± 0.08）に非常に近い結果を示した。これは、3次元ボリュームへの優れた一般化性能を示している。
• FNPC手法は極めて高いロバスト性を示した：Diceスコアは高精度・中程度・粗いプロンプトのすべてで安定して0.88を維持した。一方、SAMのDiceスコアは0.90から0.77に低下した。これは、プロンプトの不正確さに対して高い耐性があることを示している。
• 不確実性に基づく是正戦略により、偽陽性および偽陰性が効果的に低減された（図3の緑・オレンジ矢印で可視化）。FNPCが曖昧な予測を精緻化できることを確認した。
• 中央スライスにおけるハイパーパramータチューニングにより、最適なしきい値が得られた：胎盤用はT_UC = 0.2、M = 4、N = 30、T_FNl = T_FPl = 70、T_FNh = T_FPh = 200。腎臓用はT_FNh = T_FPh = 20。これは、タスクに応じたしきい値選択の感受性を示している。