[논문 리뷰] Simultaneous synthesis of FLAIR and segmentation of white matter hypointensities from T1 MRIs

Mauricio Orbes‐Arteaga, M. Jorge Cardoso외 5명|arXiv (Cornell University)|2018. 08. 20.

Medical Image Segmentation Techniques참고 문헌 17인용 수 19

한 줄 요약

이 논문은 T1-강조 MRI에서 FLAIR 영상 동시 합성과 백질부분경화증(WMH) 분할을 수행하는 공동 딥러닝 프레임워크를 제안한다. 이는 영상의 현실성과 분할 정확도를 모두 향상시킨다. 공유 최적화를 통한 생성자와 분류기의 엔드 투 엔드 훈련으로, 더 높은 품질의 합성 FLAIR 영상(PSNR: 11.01 대비 9.65)을 생성하고, T1-단독 스캔에서의 WMH 분할에서 잘못된 양성 결과를 감소시킨다.

ABSTRACT

Segmenting vascular pathologies such as white matter lesions in Brain magnetic resonance images (MRIs) require acquisition of multiple sequences such as T1-weighted (T1-w) --on which lesions appear hypointense-- and fluid attenuated inversion recovery (FLAIR) sequence --where lesions appear hyperintense--. However, most of the existing retrospective datasets do not consist of FLAIR sequences. Existing missing modality imputation methods separate the process of imputation, and the process of segmentation. In this paper, we propose a method to link both modality imputation and segmentation using convolutional neural networks. We show that by jointly optimizing the imputation network and the segmentation network, the method not only produces more realistic synthetic FLAIR images from T1-w images, but also improves the segmentation of WMH from T1-w images only.

연구 동기 및 목표

• WMH 분할을 위한 후향적 MRI 데이터셋에서 FLAIR 시퀀스의 가용성 부족 문제를 해결하기 위해.
• FLAIR 합성과 WMH 분할을 별개의 순차적 과정으로 간주하는 데서 비롯하는 한계를 극복하기 위해.
• 공동 훈련 중 FLAIR를 감독 신호로 활용하여 T1-단독 스캔에서의 분할 성능을 향상시키기 위해.
• 구조적 세부 정보와 병변 패턴을 유지하는 더 현실적인 합성 FLAIR 영상을 생성하기 위해.
• L2 기반 최적화를 통해 영상 정밀도와 병변 감도 사이의 균형을 맞추기 위해.

제안 방법

• T1-w 입력에서 합성 FLAIR 영상을 생성하는 생성자 네트워크 G를 포함한 이중 스트림 CNN 프레임워크를 엔드 투 엔드로 훈련한다.
• 분할 네트워크 C는 G와 함께 공동으로 훈련되며, 실제 T1 영상과 생성된 FLAIR 영상을 모두 입력으로 사용하여 WMH 분할 성능을 향상시킨다.
• 분류기의 손실 함수는 교차 엔트로피와 L2 기반 복원 손실을 조합하며, 생성자 네트워크는 생성된 영상에서의 분할 오차를 최소화하도록 훈련된다.
• 생성자는 L2(MSE) 손실을 사용하여 구조적 세부 정보를 유지하고, GAN 기반 방법에서 흔한 흐림 현상을 방지한다.
• 생성자와 분류기의 최적화를 번갈아가며 수행함으로써 공유 기울기를 통한 상호 개선을 가능하게 한다.
• 이 프레임워크는 WMH 분할 챌린지 2017 데이터셋에서 평가되었으며, 공동 훈련과 오프라인 합성 및 별도 훈련을 비교하였다.

실험 결과

연구 질문

• RQ1 FLAIR 영상 합성과 WMH 분할을 공동 최적화함으로써 T1-단독 MRI 스캔에서의 분할 정확도 향상이 가능한가?
• RQ2 생성자와 분류기를 엔드 투 엔드로 훈련하는 것이 오프라인 합성보다 더 현실적인 합성 FLAIR 영상을 생성하는가?
• RQ3 생성자에서 L2 손실을 사용할 경우, 적대적 훈련 대비 영상 품질과 병변 탐지 가능성에 어떤 영향을 미치는가?
• RQ4 공동 프레임워크는 T1 영상에서 잘 드러나지 않는 작은 병변 및 산산이 흩어진 백질부분경화증을 더 잘 포착할 수 있는가?
• RQ5 독립적인 합성 및 분할 파이프라인 대비 공유 최적화가 WMH 분할에서 잘못된 양성 및 잘못된 음성 결과를 얼마나 줄이는가?

주요 결과

• 제안된 방법은 합성 FLAIR 영상에서 PSNR가 11.01을 기록하여 오프라인 합성 대비 9.65보다 유의미하게 높았다.
• 제안된 방법의 평균 절대 오차(MAE)는 0.2566이었으며, 기준 방법의 MAE 0.3153을 능가했다.
• 정성적 분석 결과, 제안된 방법은 특히 그림 4에서 초록색으로 표시된 영역에서 작은 병변과 산산이 흩어진 병변을 더 잘 유지하는 것으로 나타났다. 이는 기준 방법에서 놓친 병변들이다.
• 공동 훈련 전략은 T1-단독 분할에서 과다 분할 및 잘못된 양성 결과를 감소시켜 전체 정확도를 향상시켰다.
• 공동 훈련 중 FLAIR를 감독 신호로 활용함으로써 실제 FLAIR 스캔이 없더라도 병변 감도를 향상시킬 수 있음을 입증했다.
• L2 손실의 흐림 경향에도 불구하고, 영상 선명도와 구조적 정밀도 사이의 유리한 트레이드오���에서, 병변 탐지 측면에서 GAN 기반 대안보다 뛰어난 성능을 보였다.