[논문 리뷰] Learning Cross-Modal Deep Representations for Multi-Modal MR Image Segmentation

Cheng Li, Hui Sun외 4명|arXiv (Cornell University)|2019. 08. 06.

Advanced Neural Network Applications참고 문헌 13인용 수 4

한 줄 요약

이 논문은 주의 기반, 메이스터 모odal 기반 정보 선택을 통한 감독형 다중모달 MR 영상 분할을 위한 교차모달 특징 융합 방법을 제안한다. 메이스터 모달리티(예: T1 강화 MRI)를 사용해 보조 모달리티(예: T2 가중 MRI)의 주의 기반 융합을 안내함으로써, 관련 특징을 선택적으로 강조하고 노이즈를 억제함으로써 분할 정확도를 향상시킨다. 유방 종양 분할에서 최신 기술 수준의 성능을 달성하였으며, Dice 점수는 84.4±0.7을 기록하였다.

ABSTRACT

Multi-modal magnetic resonance imaging (MRI) is essential in clinics for comprehensive diagnosis and surgical planning. Nevertheless, the segmentation of multi-modal MR images tends to be time-consuming and challenging. Convolutional neural network (CNN)-based multi-modal MR image analysis commonly proceeds with multiple down-sampling streams fused at one or several layers. Although inspiring performance has been achieved, the feature fusion is usually conducted through simple summation or concatenation without optimization. In this work, we propose a supervised image fusion method to selectively fuse the useful information from different modalities and suppress the respective noise signals. Specifically, an attention block is introduced as guidance for the information selection. From the different modalities, one modality that contributes most to the results is selected as the master modality, which supervises the information selection of the other assistant modalities. The effectiveness of the proposed method is confirmed through breast mass segmentation in MR images of two modalities and better segmentation results are achieved compared to the state-of-the-art methods.

연구 동기 및 목표

• 딥 러닝을 사용한 다중모달 MRI 분할에서 노이즈가 많고 최적화되지 않은 특징 융합 문제를 해결하기 위해.
• 다른 MRI 시퀀스(예: T1 강화 및 T2 가중)에서 상보적인 정보를 선택적으로 융합하여 분할 정확도를 향상시키기 위해.
• 특히 가시성이 낮거나 뾰족한 종양의 경우, 유방 종양 분할에서 잠재적 양성 및 음성 결과를 줄이기 위해.
• 하나의 모달리티가 다른 모달리티의 특징 선택을 지도하는 주의 기반 융합 메커니즘을 개발하여 학습 가능한 구조를 만들기 위해.
• 실제 임상 데이터셋(313명의 환자, 두 개의 MRI 시퀀스)을 기반으로 기존 융합 전략보다 우수한 성능을 입증하기 위해.

제안 방법

• 메이스터 스트림과 보조 스트림으로 구성된 다중스트림 U-Net 아키텍처를 사용한다.
• 메이스터 모달리티에 주의 블록을 적용하여, 메이스터 및 보조 스트림의 특징 선택을 안내하는 지도 신호를 생성한다.
• 메이스터 모달리티의 주의 맵을 사용해 다수의 인코더 레이어에서 모든 모달리티의 특징을 가중 및 정제한다.
• 학습 가능한 주의 기반 연결 또는 원소별 가중치 부여를 통해 특징 융합을 수행하며, 단순한 덧셈 또는 연결 연산을 대체한다.
• 메이스터 모달리티의 예측 결과가 보조 모달리티 스트림의 학습을 안내하는 감독 손실을 통해 엔드 투 엔드로 네트워크를 훈련시킨다.
• 임상적 관련성 또는 성능 기반으로 메이스터 모달리티를 재정의함으로써, 다른 다중모달 의료 영상 작업으로의 확장이 가능하다.

실험 결과

연구 질문

• RQ1 표준 연결 또는 덧셈 전략에 비해 주의 기반, 메이스터 모달리티 기반 특징 융합이 다중모달 MRI 분할 정확도를 향상시킬 수 있는가?
• RQ2 높은 성능을 보이는 단일 모달리티(예: T1 강화)를 지도 신호로 사용하면, 보완적인 정보를 제공하지만 성능이 낮은 모달리티(예: T2 가중)의 특징 학습이 향상되는가?
• RQ3 제안된 방법이 도전적인 뾰족한 종양에 대해 유방 종양 분할에서 잠재적 양성 및 음성 결과를 줄일 수 있는가?
• RQ4 주의 메커니즘이 다양한 모달리티 간에 관련 영역을 어떻게 국소화하는가? 그리고 불필요하거나 노이즈가 많은 특징을 억제하는가?
• RQ5 제안된 방법은 유방 MRI를 초월한 다른 다중모달 의료 영상 분할 작업으로 일반화 가능한가?

주요 결과

• 제안된 방법은 FuseNet, FuseUNet 및 후기/조기 융합 기반 모델을 포함한 모든 베이스라인 모델보다 뛰어난 성능을 보였으며, Dice 유사도 계수는 84.4±0.7을 기록하였다.
• 베이스라인 모델 대비 10–15%의 양성 결과 감소를 기록하였으며, 예시 케이스(그림 4의 두 번째 및 세 번째 예시)에서 시각적으로 확인되었다.
• T1 강화 모달리티의 주의 맵은 종양 영역을 성공적으로 국소화하였다(그림 5의 빨간 화살표), 반면 T2 가중 스트림은 종종 관련 없는 영역을 강조하였다(파란 화살표), 이는 지도 신호의 필요성을 검증하였다.
• 모든 방법 중에서 가장 낮은 음성 결과 비율(30.9±1.6%)을 기록하여, 작은 또는 비정상적인 종양의 탐지 능력 향상을 시사하였다.
• 제안된 방법에서 주의 블록을 사용함으로써 FuseUNet + SA 대비 1.3% 향상된 Dice 점수를 기록하여, 지도 메커니즘의 효과를 입증하였다.
• 모델은 압축된 파rameter 수량(26.7M)을 유지하여, 성능 향상이 상당한 계산 부담 없이 달성되었음을 보여주었다.