[論文レビュー] ScribblePrompt: Fast and Flexible Interactive Segmentation for Any Biomedical Image

Hallee E. Wong, Marianne Rakic+2 more|arXiv (Cornell University)|Dec 12, 2023

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

ScribblePrompt は、生物学的画像のための高速で柔軟かつ一般化可能なインタラクティブセグメンテーションフレームワークであり、ユーザー入力としてスクラッチ、クリック、バウンディングボックスをサポートする。65種類の多様なデータセットを合成ラベルおよび実際のラベルで訓練した結果、単一のCPU上でリアルタイムの推論を実現し、先行手法と比較してアノテーション時間を28%短縮するとともに、Diceスコアを15%向上させた。

ABSTRACT

Biomedical image segmentation is a crucial part of both scientific research and clinical care. With enough labelled data, deep learning models can be trained to accurately automate specific biomedical image segmentation tasks. However, manually segmenting images to create training data is highly labor intensive and requires domain expertise. We present \emph{ScribblePrompt}, a flexible neural network based interactive segmentation tool for biomedical imaging that enables human annotators to segment previously unseen structures using scribbles, clicks, and bounding boxes. Through rigorous quantitative experiments, we demonstrate that given comparable amounts of interaction, ScribblePrompt produces more accurate segmentations than previous methods on datasets unseen during training. In a user study with domain experts, ScribblePrompt reduced annotation time by 28% while improving Dice by 15% compared to the next best method. ScribblePrompt's success rests on a set of careful design decisions. These include a training strategy that incorporates both a highly diverse set of images and tasks, novel algorithms for simulated user interactions and labels, and a network that enables fast inference. We showcase ScribblePrompt in an interactive demo, provide code, and release a dataset of scribble annotations at https://scribbleprompt.csail.mit.edu

研究の動機と目的

• 生物学的画像のための、スクラッチ、クリック、バウンディングボックスといった多様なユーザー入力をサポートするインタラクティブセグメンテーションフレームワークの開発。
• タスク固有の微調整なしに、未学習のセグメンテーションタスクや画像モodalitiesへの一般化を可能にすること。
• トレーニング中に現実的なスクラッチをシミュレートすることで、モデルのロバスト性と使いやすさを向上させること。
• 実用的な臨床的および研究的展開を可能にするために、単一のCPU上でリアルタイム推論を実現すること。
• 柔軟で直感的なユーザーインタラクションを通じて、アノテーション時間の短縮とセグメンテーション精度の向上を達成すること。

提案手法

• 本フレームワークは、実際のラベルと合成ラベルを併用した、65種類のオープンアクセス生物学的画像データセットの多様なコレクションでトレーニングされたディープラーニングベースのセグメンテーションモデルを採用している。
• 本モデルは、真のラベルおよび誤差領域に基づき、肯定的および否定的なスクラッチを含むユーザー行動をシミュレートすることで、現実的なスクラッチを生成する新しいデータオーグメンテーション戦略を導入している。
• モデルは反復的インタラクションを処理できるように訓練されており、初期予測およびユーザーの修正による改善を、任意の入力タイプでサポートしている。
• スクラッチのシミュレーションは、幾何学的および空間的ヒューリスティクスを用いて、人間のスクラッチパターン（線形、中心線、輪郭スクラッチなど）を模倣する。
• 本フレームワークは、統一された推論パイプライン内で、スクラッチ、クリック、バウンディングボックスの複数の入力モダリティをサポートしている。
• モデル最適化および効率的なアーキテクチャ設計により、リアルタイム推論が実現され、単一CPUでのデプロイメントが可能になった。

実験結果

リサーチクエスチョン

• RQ1 タスク固有の微調整なしに、1つのセグメンテーションモデルが多様な生物学的画像タスクおよびモダリティに一般化できるか？
• RQ2 スクラッチ、クリック、バウンディングボックスのうち、どの入力タイプがアノテーション効率およびセグメンテーション精度において優れているか？
• RQ3 トレーニング中に現実的なスクラッチをシミュレートすることで、実際のユーザーインタラクションにおけるモデルのパフォーマンスが向上するか？
• RQ4 ScribblePromptは、実世界のユーザー環境において、どの程度アノテーション時間を短縮し、セグメンテーション品質を向上させられるか？
• RQ5 本モデルは、複数のネットワークアーキテクチャおよび未学習のデータセットにおいても高いパフォーマンスを維持できるか？

主な発見

• 経験豊富なアノテーターを対象としたユーザー研究において、ScribblePromptは既存手法と比較してアノテーション時間を28%短縮した。
• 実際のユーザーが提供したスクラッチを用いた際、本フレームワークはベースライン手法よりもDiceスコアを15%向上させた。
• 単一のCPU上でリアルタイム推論を達成しており、臨床的および研究的展開に実用的である。
• MRI、CT、レントゲン、OCT、顕微鏡画像など、さまざまな画像モダリティにまたがる12の未学習データセットに対しても、効果的な一般化が可能である。
• 手動収集スクラッチ、シミュレートされたインタラクション、ユーザー研究のすべての評価タイプにおいて、一貫して優れたパフォーマンスを示した。
• トレーニング時に合成スクラッチオーグメンテーションを用いることで、実世界のユーザー入力の変動に対するロバスト性が顕著に向上した。