[논문 리뷰] 4D Deep Learning for Multiple Sclerosis Lesion Activity Segmentation

Nils Gessert, Marcel Bengs외 6명|arXiv (Cornell University)|2020. 04. 20.

Multiple Sclerosis Research Studies참고 문헌 8인용 수 8

한 줄 요약

이 논문은 기저선 및 추적 스캔 외에도 시간적 역사를 고려하여 다발성 경화증 병변 활성도 분할을 향상시키기 위해 컨volutional 게이트드 순환 단위( convGRUs)를 사용한 다중 인코더-디코더 아키텍처를 갖춘 4차원 딥러닝 프레임워크를 제안한다. 이 방법은 이전 접근 방식을 능가하며, 거짓 양성률이 0.19일 때 병변 수준의 참 양성률이 0.84에 도달하여, 확장된 시간적 맥락이 정확도 향상에 기여함을 보여준다.

ABSTRACT

Multiple sclerosis lesion activity segmentation is the task of detecting new and enlarging lesions that appeared between a baseline and a follow-up brain MRI scan. While deep learning methods for single-scan lesion segmentation are common, deep learning approaches for lesion activity have only been proposed recently. Here, a two-path architecture processes two 3D MRI volumes from two time points. In this work, we investigate whether extending this problem to full 4D deep learning using a history of MRI volumes and thus an extended baseline can improve performance. For this purpose, we design a recurrent multi-encoder-decoder architecture for processing 4D data. We find that adding more temporal information is beneficial and our proposed architecture outperforms previous approaches with a lesion-wise true positive rate of 0.84 at a lesion-wise false positive rate of 0.19.

연구 동기 및 목표

• 기본 및 추적 스캔 외의 시간적 MRI 역사를 활용하여 다발성 경화증 병변 활성도 분할을 향상시키는 것.
• 기본 스캔을 역사적 스캔으로 연장함으로써 검출 성능 향상 여부를 조사하는 것.
• 공유된 파rameter를 갖는 4차원 시공간 MRI 데이터를 효율적으로 처리할 수 있는 딥러닝 아키텍처를 설계하는 것.
• 디코더에서 표준 특징 연결 대비 convGRUs를 통한 순환적 시간적 통합이 얼마나 효과적인지 비교하는 것.

제안 방법

• 모델은 다중 인코더-디코더 구조를 갖춘 ResNet 기반 3D CNN을 사용하며, 시간 경로 간 공유 가중치를 통해 T개의 시간 포인트를 동시에 처리한다.
• 스패티오-타임리얼 의존성을 모델링하기 위해 인코더와 디코더 사이에서 컨볼루션 게이트드 순환 단위(convGRUs)를 사용해 시간적 통합을 수행한다.
• 네트워크 내 장거리 스케일 연결 또한 동일한 convGRU 기반 순환 구조를 사용해 시간적 특징 융합을 수행한다.
• 모델 파라미터 수가 증가하지 않도록 하여, 임의의 수의 시간 포인트를 지원함으로써 더 긴 시간 시퀀스로의 확장성 확보.
• 학습 중 배치 크기가 1이므로 인스턴스 정규화를 적용한다.
• 추론 시에는 겹치는 코어를 사용해 전체 병변 활성도 지도를 재구성하며, 겹치는 영역는 평균화한다.

실험 결과

연구 질문

• RQ1 기본 및 추적 스캔 외에 역사적 MRI 스캔을 통합함으로써 병변 활성도 분할 성능 향상이 이루어지는가?
• RQ2 4D 병변 활성도 예측에서 convGRUs를 통한 순환적 시간적 통합이 단순한 특징 연결보다 더 효과적인가?
• RQ3 공유 가중치를 갖는 다중 경로 인코더-디코더 아키텍처는 다양한 수의 시간 포인트에 대해 일반화 가능한가?
• RQ4 시간적 맥락의 포함 여부가 병변 검출에서 참 양성률과 거짓 양성률 간의 트레이드오���에 어떤 영향을 미치는가?
• RQ5 제안된 아키텍처는 최소한의 파라미터 증가로 더 긴 시간 시퀀스에 대해 확장 가능한가?

주요 결과

• T=3개의 시간 포인트를 사용한 제안된 Enc-convGRU-Dec 모델은 병변 수준의 참 양성률 0.84를 달성하여 이전의 모든 방법을 능가했다.
• 병변 수준의 거짓 양성률이 0.19일 때, 모델은 딱지 스코어 0.64를 기록하여 이전 최고 성능 기준보다 상당한 향상을 보였다.
• convGRUs를 사용한 시간적 통합은 단지 T=2개의 스캔을 사용할 때조차 특징 연결보다 뛰어난 성능을 보였다.
• convGRU 기반 아키텍처에서 역사적 스캔(T=3)을 추가함으로써 T=2 대비 성능 향상이 이루어져, 확장된 시간적 맥락의 이점이 입증되었다.
• 파라미터 공유 덕분에 다양한 시간 포인트 수에 대해 일관된 성능 유지를 하여, 더 긴 시퀀스로의 확장성 확보.
• 겹치는 추론 코어를 통해 전체 볼륨의 병변 활성도 지도를 신뢰성 있게 재구성함으로써 아키텍처의 강건성과 일반화 능력이 입증되었다.