[논문 리뷰] ScribblePrompt: Fast and Flexible Interactive Segmentation for Any Biomedical Image

Hallee E. Wong, Marianne Rakic외 2명|arXiv (Cornell University)|2023. 12. 12.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

ScribblePrompt는 생물의학 영상에 대한 빠르고 유연하며 일반화 가능한 상호작용 세그멘테이션 프레임워크로, 사용자 입력으로 스크래치, 클릭, 경계 상자 모두를 지원합니다. 실재 및 합성 레이블이 포함된 65개의 다양한 데이터셋으로 훈련된 모델은 단일 CPU에서 실시간 추론을 구현하며, 기존 방법과 비교해 사용자 연구에서 약 28%의 애노테이션 시간을 단축시키고 DICE 점수를 15% 향상시킵니다.

ABSTRACT

Biomedical image segmentation is a crucial part of both scientific research and clinical care. With enough labelled data, deep learning models can be trained to accurately automate specific biomedical image segmentation tasks. However, manually segmenting images to create training data is highly labor intensive and requires domain expertise. We present \emph{ScribblePrompt}, a flexible neural network based interactive segmentation tool for biomedical imaging that enables human annotators to segment previously unseen structures using scribbles, clicks, and bounding boxes. Through rigorous quantitative experiments, we demonstrate that given comparable amounts of interaction, ScribblePrompt produces more accurate segmentations than previous methods on datasets unseen during training. In a user study with domain experts, ScribblePrompt reduced annotation time by 28% while improving Dice by 15% compared to the next best method. ScribblePrompt's success rests on a set of careful design decisions. These include a training strategy that incorporates both a highly diverse set of images and tasks, novel algorithms for simulated user interactions and labels, and a network that enables fast inference. We showcase ScribblePrompt in an interactive demo, provide code, and release a dataset of scribble annotations at https://scribbleprompt.csail.mit.edu

연구 동기 및 목표

• 생물의학 영상에 대해 스크래치, 클릭, 경계 상자 등 다양한 사용자 입력을 지원하는 상호작용 세그멘테이션 프레임워크를 개발하는 것.
• 작업별 미세조정 없이도 새로운 세그멘테이션 작업과 영상 모odalities에 일반화할 수 있도록 하는 것.
• 훈련 중에 실제 사용자 행동을 시뮬레이션하여 현실적인 스크래치를 생성함으로써 모델의 강건성과 사용성 향상시키는 것.
• 실제 임상 및 연구 환경에 적용 가능한 실시간 추론을 단일 CPU에서 달성하는 것.
• 다양하고 직관적인 사용자 인터랙션을 통해 애노테이션 시간을 단축시키고 세그멘테이션 정확도를 향상시키는 것.

제안 방법

• 65개의 오픈 액세스 생물의학 영상 데이터셋에서 구성된 다양한 데이터 셋을 기반으로 실재 및 합성 레이블을 포함해 훈련된 딥러닝 기반 세그멘테이션 모델을 사용합니다.
• 사용자 행동을 시뮬레이션하여 실제적인 스크래치를 생성하는 새로운 데이터 증강 전략을 도입합니다. 이는 지도 레이블 및 오류 영역 기반으로 긍정적 및 부정적 스크래치를 생성합니다.
• 모델은 반복적 상호작용을 처리하도록 훈련되어 있으며, 초기 예측과 사용자 수정을 통해 보완하는 방식으로 어떤 입력 유형이라도 지원합니다.
• 기하학적 및 공간 히وري스틱을 사용해 인간의 스크래치 패턴(선, 중심선, 윤곽 스크래치 포함)을 모방하는 스크래치 시뮬레이션을 수행합니다.
• 통합 추론 파이프라인 내에서 스크래치, 클릭, 경계 상자 등 다양한 입력 모odalities를 지원합니다.
• 모델 최적화 및 효율적인 아키텍처 설계를 통해 실시간 추론을 달성하며, 단일 CPU 배포가 가능합니다.

실험 결과

연구 질문

• RQ1 작업별 미세조정 없이도 다양한 생물의학 영상 작업과 모달리티에 대해 단일 세그멘테이션 모델이 일반화 가능한가?
• RQ2 스크래치, 클릭, 경계 상자 중 어떤 입력 방식이 애노테이션 효율성과 세그멘테이션 정확도 측면에서 더 우수한가?
• RQ3 훈련 중에 현실적인 스크래치 시뮬레이션을 통해 실제 사용자 상호작용에 대한 모델 성능 향상이 가능한가?
• RQ4 실제 세계의 사용자 환경에서 ScribblePrompt는 애노테이션 시간을 얼마나 줄이고 세그멘테이션 품질을 향상시키는가?
• RQ5 모델은 다양한 네트워크 아키텍처와 새로운 데이터셋에 대해 높은 성능를 유지할 수 있는가?

주요 결과

• 경험이 풍부한 애노테이터를 대상으로 한 사용자 연구에서 ScribblePrompt는 기존 방법 대비 약 28%의 애노테이션 시간을 단축시켰습니다.
• 실제 사용자가 제공한 스크래치를 사용할 경우, 기준 방법 대비 DICE 점수를 15% 향상시켰습니다.
• 단일 CPU에서 실시간 추론을 달성하여 임상 및 연구 환경에 실용적으로 적용 가능합니다.
• MRI, CT, X-ray, OCT, 현미경 영상 등 다양한 영상 모달리티에 걸쳐 12개의 새로운 데이터셋에 대해 효과적으로 일반화되었습니다.
• 수동으로 수집한 스크래치, 시뮬레이션된 상호작용, 사용자 연구 등 모든 평가 유형에서 성능이 뛰어나 일관되게 뛰어난 결과를 보였습니다.
• 훈련 중에 합성 스크래치 증강을 사용함으로써 실제 사용자 입력의 다양성에 대한 강건성이 크게 향상되었습니다.