[논문 리뷰] Interactive Medical Image Segmentation via Point-Based Interaction and Sequential Patch Learning

Jinquan Sun, Yinghuan Shi외 5명|arXiv (Cornell University)|2018. 04. 27.

Advanced Neural Network Applications참고 문헌 22인용 수 11

한 줄 요약

이 논문은 저대비, 비정형적인 구조에서 경계 검출을 향상시키기 위해 점 기반 상호작용과 이중 방향 ConvRNN를 통한 순차적 패치 학습을 사용하는 새로운 상호작용식 의료 영상 분할 방법을 제안한다. 중심점에서 방사선을 따라 추출한 패치의 특징 표현을 모델링함으로써, CT 신장 종양, MR 전립선 및 PROMISE12 도전 과제에서 최신 기술 수준의 성능을 달성하였으며, PROMISE12 랭킹에서 4위를 기록하였다.

ABSTRACT

Due to low tissue contrast, irregular object appearance, and unpredictable location variation, segmenting the objects from different medical imaging modalities (e.g., CT, MR) is considered as an important yet challenging task. In this paper, we present a novel method for interactive medical image segmentation with the following merits. (1) Our design is fundamentally different from previous pure patch-based and image-based segmentation methods. We observe that during delineation, the physician repeatedly check the inside-outside intensity changing to determine the boundary, which indicates that comparison in an inside-outside manner is extremely important. Thus, we innovatively model our segmentation task as learning the representation of the bi-directional sequential patches, starting from (or ending in) the given central point of the object. This can be realized by our proposed ConvRNN network embedded with a gated memory propagation unit. (2) Unlike previous interactive methods (requiring bounding box or seed points), we only ask the physician to merely click on the rough central point of the object before segmentation, which could simultaneously enhance the performance and reduce the segmentation time. (3) We utilize our method in a multi-level framework for better performance. We systematically evaluate our method in three different segmentation tasks including CT kidney tumor, MR prostate, and PROMISE12 challenge, showing promising results compared with state-of-the-art methods. The code is available here: \href{https://github.com/sunalbert/Sequential-patch-based-segmentation}{Sequential-patch-based-segmentation}.

연구 동기 및 목표

• 낮은 조직 대비, 비정형적인 외관, 변동성이 큰 객체 위치를 가진 의료 영상 분할 과제를 해결하기 위해.
• 경계 상자나 다수의 시드 포인트 대신 단일 중심점 클릭만으로도 의료진의 작업 부담을 줄이기 위해.
• 내부-외부 강도 전이를 순차적 패치 학습을 통해 모델링하여 경계 선명도를 향상시키기 위해.
• 2D 및 향후 3D 의료 영상 분할에 쉽게 확장 가능한 가벼운, 빠르고 학습 가능한 모델을 개발하기 위해.

제안 방법

• 의료진이 제공한 단일 중심점 클릭을 통해 객체 내부에서 외부로 향하는 방사선을 정의한다.
• 16개의 방사선에 따라 일정 간격(4 또는 6)으로 순차적 패치를 추출하여 내부에서 외부로 향하는 방향성 시퀀스를 형성한다.
• U-Net 유사 아키텍처에 이중 방향 게이팅된 ConvRNN을 통합하여 순차적 패치 간의 시공간 표현을 학습한다.
• 게이팅 메모리 전파 유닛을 통해 장거리 의존성 모델링과 내부-외부 비교를 가능하게 하여 의료진의 분할 행동을 모방한다.
• 다중 수준 프레임워크를 사용해 전체적으로 특징 학습을 향상시키기 위해 엔드 투 엔드로 학습한다.
• 이 방법은 2D 영상에 적용 가능하며, 다수의 방향에서의 결과를 융합함으로써 3D로 확장 가능하다.

실험 결과

연구 질문

• RQ1 최소한의 상호작용(단일 중심점 클릭)으로도 복잡한 의료 영상 과제에서 경쟁력 있는 분할 성능을 달성할 수 있는가?
• RQ2 이중 방향 특징 학습을 통한 순차적 패치 모델링이 저대비 및 흐린 영역에서 경계 검출을 향상시키는가?
• RQ3 게이팅 메모리 유닛을 갖춘 가벼운 얕은 네트워크가 의료 영상 분할에서 더 깊은 네트워크를 능가할 수 있는가?
• RQ4 이러한 방법은 CT 및 MR를 포함한 다양한 의료 영상 과제에서 최신 기술 수준의 방법들과 비교해 어떻게 성능을 내는가?

주요 결과

• PROMISE12 과제 랭킹에서 총점 85.33점을 기록하여 10개 팀 중 4위를 차지하였다.
• 전체 ABD(1.79 mm), 베이스 ABD(2.11 mm), 전체 95HD(5.35 mm), 전체 DSC(89.81%), 베이스 DSC(87.49%) 등 여러 지표에서 최고 성능 기록.
• 전립선의 전체 및 베이스 영역에서 ABD 및 DSC 측정치에서 다른 3D 딥 러닝 모델들을 능가하였다.
• 모델은 작고(5.2MB), 학습 및 테스트가 빠르며, 최소한의 사용자 상호작용으로도 효과적이다.
• CT 신장 종양 및 MR 전립선 분할을 포함한 다양한 모odalities에 걸쳐 강력한 일반화 성능을 보였다.
• 정점 영역의 DSC는 다른 영역에 비해 약간 낮은 81.74%를 기록하였으며, 이는 상하단 슬라이스에서 중심점 선택 시 발생하는 노이즈 때문일 수 있다.