[논문 리뷰] A Self-Adaptive Network For Multiple Sclerosis Lesion Segmentation From Multi-Contrast MRI With Various Imaging Protocols

Yushan Feng, Huitong Pan외 2명|arXiv (Cornell University)|2018. 11. 19.

Spectroscopy Techniques in Biomedical and Chemical Research참고 문헌 5인용 수 4

한 줄 요약

이 논문은 다중 대trast MRI에서 다발성 경화증 병변 분할을 위한 자기적응형 딥 뉴럴 네트워크를 제안하며, 배포 시에 누락되거나 변동성이 있는 MRI 시퀀스를 동적으로 처리한다. 새로운 시퀀스 드롭아웃 기법을 사용하여 다양한 영상 프로토콜에서 높은 성능을 유지하며, ISBI 2015 챌린지에서 덱스 점수 0.684를 기록했고, 분할 정확도에서 FLAIR가 가장 중요한 역할을 함을 입증하였다.

ABSTRACT

Deep neural networks (DNN) have shown promises in the lesion segmentation of multiple sclerosis (MS) from multicontrast MRI including T1, T2, proton density (PD) and FLAIR sequences. However, one challenge in deploying such networks into clinical practice is the variability of imaging protocols, which often differ from the training dataset as certain MRI sequences may be unavailable or unusable. Therefore, trained networks need to adapt to practical situations when imaging protocols are different in deployment. In this paper, we propose a DNN-based MS lesion segmentation framework with a novel technique called sequence dropout which can adapt to various combinations of input MRI sequences during deployment and achieve the maximal possible performance from the given input. In addition, with this framework, we studied the quantitative impact of each MRI sequence on the MS lesion segmentation task without training separate networks. Experiments were performed using the IEEE ISBI 2015 Longitudinal MS Lesion Challenge dataset and our method is currently ranked 2nd with a Dice similarity coefficient of 0.684. Furthermore, we showed our network achieved the maximal possible performance when one sequence is unavailable during deployment by comparing with separate networks trained on the corresponding input MRI sequences. In particular, we discovered T1 and PD have minor impact on segmentation performance while FLAIR is the predominant sequence. Experiments with multiple missing sequences were also performed and showed the robustness of our network.

연구 동기 및 목표

• 다발성 경화증 병변 분할을 위한 딥 러닝 모델의 임상적 배포에서 변동성이 있는 MRI 영상 프로토콜 문제를 해결한다.
• 재학습 없이도 누락되거나 일관되지 않은 MRI 시퀀스에 적응할 수 있는 딥 러닝 프레임워크를 개발한다.
• 각 MRI 시퀀스(T1, T2, PD, FLAIR)가 분할 성능에 기여하는 정도를 별도의 모델을 훈련하지 않고도 정량화한다.
• 특정 시퀀스가 이용 불가능하거나 사용 불가능한 경우에도 다양한 임상 환경에서 강건한 성능을 확보한다.

제안 방법

• 추론 중에 누락된 MRI 시퀀스를 시뮬레이션할 수 있는 시퀀스 드롭아웃 기법을 도입하여, 네트워크가 다양한 입력 조합에 일반화할 수 있도록 한다.
• 정보성 시퀀스를 우선순위로 정하고 부재한 시퀀스를 보완할 수 있도록 자기적응형 네트워크 아키텍처를 설계한다.
• ISBI 2015 데이터셋을 사용하여 T1, T2, PD, FLAIR의 다중 대비 MRI 데이터를 종합적으로 훈련시켜 강건성을 확보한다.
• 모든 가능한 입력 시퀀스 조합에 대해 성능을 평가하기 위해 통합된 네트워크를 사용하여, 각 구성에 대해 별도의 모델이 필요 없도록 한다.
• 기울기 기반 분석을 적용하여 각 MRI 시퀀스가 분할 출력에 미치는 상대적 중요도를 평가한다.
• 주의 메커니즘(attention mechanisms)을 네트워크 아키텍처를 통해 암묵적으로 활용하여, 가용성과 관련성에 따라 입력 시퀀스의 가중치를 적응적으로 조정한다.

실험 결과

연구 질문

• RQ1 추론 중에 일부 MRI 시퀀스가 누락되었을 경우, 제안된 자기적응형 네트워크의 성능은 어떻게 되는가?
• RQ2 T1, T2, PD, FLAIR 중 어떤 MRI 시퀀스가 정확한 MS 병변 분할에 가장 크게 기여하는가?
• RQ3 단일 통합 네트워크가 모든 가능한 입력 MRI 시퀀스 조합에서 근사 최적의 성능을 달성할 수 있는가?
• RQ4 여러 시퀀스가 동시에 누락되었을 경우 성능는 어떻게 저하되며, 모델은 여전히 강건성을 유지할 수 있는가?
• RQ5 재학습 없이도 임상적 영상 프로토콜의 변동성에 얼마나 잘 적응할 수 있는가?

주요 결과

• 제안된 방법은 ISBI 2015 종단적 MS 병변 챌린지에서 덱스 유사도 계수 0.684를 달성하여 제출된 방법들 중 2위를 기록하였다.
• FLAIR가 가용한 경우 모델은 최고의 성능을 기록하였으며, 이는 병변 탐지에서 FLAIR의 지배적 역할을 시사한다.
• T1 및 PD 시퀀스는 분할 정확도에 거의 기여하지 않으며, 이들의 부재가 전체 성능에 미치는 영향은 미미하다.
• 일부 시퀀스가 누락된 경우에도 모델은 높은 성능를 유지하였으며, 부분적인 입력 세트로 훈련된 별도의 모델보다 성능가우며.
• 여러 시퀀스가 동시에 누락된 실험을 통해 네트워크의 강건성과 실제 임상 환경의 변동성에 대한 적응 능력이 확인되었다.
• 시퀀스 드롭아웃 기법을 통해 모델은 재학습 없이도 다양한 영상 프로토콜에 효과적으로 일반화할 수 있었다.