[논문 리뷰] nnInteractive: Redefining 3D Promptable Segmentation

Fabian Isensee, Maximilian Rokuss외 11명|ArXiv.org|2025. 03. 11.

Computer Graphics and Visualization Techniques인용 수 6

한 줄 요약

nnInteractive는 다양한 2D 프롬프트(포인트, 스크리블, 박스, 래소)를 3D 전체 분할로 변환하는 3D 인터랙티브 오픈 세트 세그먼트 프레임워크이며, 120개 이상 멀티모달 데이터셋으로 학습되고 Napari와 MITK에 통합되어 실제 현장에서 사용됩니다.

ABSTRACT

Accurate and efficient 3D segmentation is essential for both clinical and research applications. While foundation models like SAM have revolutionized interactive segmentation, their 2D design and domain shift limitations make them ill-suited for 3D medical images. Current adaptations address some of these challenges but remain limited, either lacking volumetric awareness, offering restricted interactivity, or supporting only a small set of structures and modalities. Usability also remains a challenge, as current tools are rarely integrated into established imaging platforms and often rely on cumbersome web-based interfaces with restricted functionality. We introduce nnInteractive, the first comprehensive 3D interactive open-set segmentation method. It supports diverse prompts-including points, scribbles, boxes, and a novel lasso prompt-while leveraging intuitive 2D interactions to generate full 3D segmentations. Trained on 120+ diverse volumetric 3D datasets (CT, MRI, PET, 3D Microscopy, etc.), nnInteractive sets a new state-of-the-art in accuracy, adaptability, and usability. Crucially, it is the first method integrated into widely used image viewers (e.g., Napari, MITK), ensuring broad accessibility for real-world clinical and research applications. Extensive benchmarking demonstrates that nnInteractive far surpasses existing methods, setting a new standard for AI-driven interactive 3D segmentation. nnInteractive is publicly available: https://github.com/MIC-DKFZ/napari-nninteractive (Napari plugin), https://www.mitk.org/MITK-nnInteractive (MITK integration), https://github.com/MIC-DKFZ/nnInteractive (Python backend).

연구 동기 및 목표

• 다 modality 및 구조에 걸친 정확하고 융통성 있는 3D 인터랙티브 세그먼테이션의 필요성 해소.
• 점, 스크리블, 박스, 래소를 포함한 다용도 프롬프트 시스템을 제공하여 3D 세그먼트를 안내.
• 확립된 이미징 플랫폼과의 통합을 통해 실세계 활용성 보장.
• 대규모 멀티모달 학습 데이터로 일반화 및 오픈 세트 능력 향상.

제안 방법

• 초기 프롬프트를 추가 입력 채널로 조기에 통합한 UNet 기반 nnU-Net 백본 채택.
• 고해상도에서 프롬프트를 시도하여 2D 프롬프트(포인트, 스크리블, 박스, 래소)를 3D 마스크로 변환.
• 학습 중 광범위한 프롬프트 생성 및 상호작용 시뮬레이션 파이프라인 구현(2D 슬라이스 샘플링, 오류 영역 식별, 다형태 프롬프트 포함).
• VRAM 제약 내에서 ROI를 능동적으로 확장하고 큰 구조를 정교화하는 Auto Zoom 메커니즘 도입.
• CT, MRI, PET, 3D 현미경 등 120개 데이터셋에서 64,518부피를 학습시키고 다양성 강화용 SuperVoxels 기반 의사 레이블 사용.
• 현실적인 사용자 상호작용 패턴을 모델링하기 위해 시뮬레이션 사용자 에이전트(Random, Sunk Cost, Single Interaction) 사용.

실험 결과

연구 질문

• RQ1 다수의 모달리티와 구조에 걸쳐 넓고 열린 집합 모델로 3D 인터랙티브 세그먼테이션을 효과적으로 달성할 수 있는가?
• RQ2 다양한 프롬프트 유형(포인트, 스크리블, 박스, 래소)과 시뮬레이션된 사용자 상호작용이 3D 세그먼테이션 성능과 사용성을 향상시키는가?
• RQ3 AutoZoom 및 다중 반복 프롬프팅이 주석 작업을 줄이면서도 정확성을 유지하거나 증가시키는가?
• RQ4 대규모 멀티모달 데이터셋 학습이 보지 못한 모달리티 및 작업으로의 일반화를 개선하는가?

주요 결과

좌심실	우심실	심근	평균
66.08	90.04	86.82	80.98	All Slices ScribblePrompt
78.86	92.93	90.07	87.29	All Slices nnInteractive
74.40	91.24	87.33	84.29	3 Slices nnInteractive

• nnInteractive는 테스트 데이터에서 프롬프트 스타일에 관계없이 일관되게 최첨단 베이스라인을 능가한다.
• 래소 프롬프트가 전반적으로 가장 강력한 가이던스 신호를 제공하며 Dice 성능이 가장 우수하다.
• 전문가 스크리블 벤치마크에서 nnInteractive가 ScribblePrompt를 능가하며 주석 수를 줄이고도 높은 정확성을 달성한다.
• AutoZoom은 큰 객체의 세그먼테이션을 개선하고 수렴에 필요한 반복 횟수를 줄인다.
• 추론 시간은 실제 사용에 적합하며(≤10 GB VRAM, 작은 객체에 대해 120–200 ms; AutoZoom으로 큰 객체의 경우 최대 1160 ms).
• 방사선 작업에서 nnInteractive는 전문가 수준의 성능을 달성하고 주석 시간(179±114s vs 635±343s)을 크게 감소시킨다.