[논문 리뷰] Fine-grained Recurrent Neural Networks for Automatic Prostate Segmentation in Ultrasound Images

Xin Yang, Lequan Yu외 5명|arXiv (Cornell University)|2016. 12. 06.

Medical Image Segmentation Techniques인용 수 6

한 줄 요약

이 논문은 전립선 초음파 영상에서 심각한 경계 불완전성 문제를 해결하기 위해 경계 분할을 순차적 학습 문제로 모델링하는 세분화된 순환 신경망(BCRNN) 프레임워크를 제안한다. 생물학적으로 유사한 RNN과 다중 척도 오토컨텍스트 기반 설계, 그리고 다중 시야 융합을 통합함으로써, 모호하고 가림되어 있거나 대trast가 낮은 경계를 다루는 데 있어 최첨단 성능을 달성한다.

ABSTRACT

Boundary incompleteness raises great challenges to automatic prostate segmentation in ultrasound images. Shape prior can provide strong guidance in estimating the missing boundary, but traditional shape models often suffer from hand-crafted descriptors and local information loss in the fitting procedure. In this paper, we attempt to address those issues with a novel framework. The proposed framework can seamlessly integrate feature extraction and shape prior exploring, and estimate the complete boundary with a sequential manner. Our framework is composed of three key modules. Firstly, we serialize the static 2D prostate ultrasound images into dynamic sequences and then predict prostate shapes by sequentially exploring shape priors. Intuitively, we propose to learn the shape prior with the biologically plausible Recurrent Neural Networks (RNNs). This module is corroborated to be effective in dealing with the boundary incompleteness. Secondly, to alleviate the bias caused by different serialization manners, we propose a multi-view fusion strategy to merge shape predictions obtained from different perspectives. Thirdly, we further implant the RNN core into a multiscale Auto-Context scheme to successively refine the details of the shape prediction map. With extensive validation on challenging prostate ultrasound images, our framework bridges severe boundary incompleteness and achieves the best performance in prostate boundary delineation when compared with several advanced methods. Additionally, our approach is general and can be extended to other medical image segmentation tasks, where boundary incompleteness is one of the main challenges.

연구 동기 및 목표

• 낮은 시야 확보와 가림으로 인해 정확한 분할이 어려운 전립선 초음파 영상에서의 경계 불완전성 문제를 해결한다.
• 수작업으로 설계된 기술적 특징 기반의 전통적인 형태 모델이 국소 정보 손실 문제를 겪는 점을 극복한다.
• 특징 추출과 형태 사전 학습을 원활하게 통합하는 엔드 투 엔드 프레임워크를 개발하여 강력한 경계 추정을 가능하게 한다.
• 스펙클 노이즈, 낮은 대비, 환자 간 큰 해부학적 변동성이 존재하는 상황에서도 분할 정확도를 향상시킨다.
• 유사한 경계 문제를 겪는 다른 의료 영상 분할 과제에 대해 본 방법의 일반화 능력을 입증한다.

제안 방법

• 공간적 관계의 순차적 모델링을 가능하게 하기 위해 2차원 전립선 초음파 영상을 순서화하여 동적 시퀀스로 변환한다.
• 순서화된 시퀀스 내 시간적 의존성을 활용해 생물학적으로 타당한 순환 신경망(RNN)을 적용하여 형태 사전를 학습한다.
• 다양한 순서화 방향에서 발생할 수 있는 편향을 줄이고 형태 예측의 강건성을 향상시키기 위해 다중 시야 융합 전략을 구현한다.
• RNN 코어를 다중 척도 오토컨텍스트 프레임워크에 통합하여 점진적으로 더 세밀한 수준에서 분할 맵을 개선한다.
• RMSProp를 사용하여 역전파를 시간에 따라 수행하고, 형태 예측에 대한 유클리드 손실을 최소화함으로써 BCRNN을 엔드 투 엔드로 훈련시킨다.
• 오토컨텍스트 설계에서 세 가지 컨텍스트 수준(coarse에서 fine으로)을 사용하며, 각 수준이 이전 수준의 예측을 개선한다.

실험 결과

연구 질문

• RQ1 순환 신경망이 초음파 영상에서 부족하거나 모호한 경계를 복구하기 위해 순차적 형태 사전를 효과적으로 모델링할 수 있는가?
• RQ2 순서화된 시퀀스의 다중 시야 융합은 단일 시야 순서화 대비 형태 예측의 강건성과 정확도를 어떻게 향상시키는가?
• RQ3 RNN을 다중 척도 오토컨텍스트 프레임워크에 통합함으로써 세부 사항 개선과 경계 명확화는 어느 정도 향상되는가?
• RQ4 제안된 BCRNN 프레임워크는 도전적인 초음파 조건에서 사전 학습된 CNN 및 FCN 모델보다 성능이 뛰어나게 되는가?
• RQ5 본 프레임워크는 경계 불완전성이 주요 장애물인 다른 의료 영상 분할 과제에 일반화될 수 있는가?

주요 결과

• BCRNN-Level1과 BCRNN-Level2는 모든 평가 지표에서 사전 학습된 T-CNN 및 T-FCN 모델보다 우수하거나 경쟁 가능한 성능을 달성했다.
• BCRNN-Level0에서 BCRNN-Level1으로의 개선이 모든 지표를 크게 향상시켜 계층적 컨텍스트 학습의 효과를 입증했다.
• BCRNN-Level1에서 BCRNN-Level2로의 개선은 미미했으며, 이는 세 가지 컨텍스트 수준 이상에서는 수익 감소 현상이 나타남을 시사한다.
• Dice, Jaccard, Conformity 점수에서 최첨단 성능을 달성했으며, 경쟁 방법 대비 더 낮은 평균 경계 거리(Adb)를 기록했다.
• 학습 곡선을 통해 더 굵은 수준에서의 훈련이 더 세밀한 수준에서 최적화를 가속화하는 것을 확인했으며, 계층적 가이드 효과를 뒷받침한다.
• 보조 Active Shape Model(ASM)이 BCRNN 형태 예측 맵의 강력한 가이던스를 받으며 잘 작동했으며, 예측된 형태 사전의 품질을 검증한다.