[논문 리뷰] ModDrop++: A Dynamic Filter Network with Intra-subject Co-training for Multiple Sclerosis Lesion Segmentation with Missing Modalities

Han Liu, Yubo Fan외 7명|arXiv (Cornell University)|2022. 03. 07.

Microbial infections and disease research인용 수 4

한 줄 요약

ModDrop++는 동일 환자에서의 전체 및 결손 모odal리티 데이터 간의 공동 학습을 통한 동적 필터 네트워크를 제안하여 결손 MRI 모달리티 상황에서 다발성 경화증 병변 분할 성능을 향상시킨다. 기존 네트워크 아키텍처를 변경하지 않고도 플러그 앤 플레이 방식의 동적 헤드를 도입하여 적응형 특징 학습과 함께, 모든 결손 모달리티 조건에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Multiple Sclerosis (MS) is a chronic neuroinflammatory disease and multi-modality MRIs are routinely used to monitor MS lesions. Many automatic MS lesion segmentation models have been developed and have reached human-level performance. However, most established methods assume the MRI modalities used during training are also available during testing, which is not guaranteed in clinical practice. Previously, a training strategy termed Modality Dropout (ModDrop) has been applied to MS lesion segmentation to achieve the state-of-the-art performance with missing modality. In this paper, we present a novel method dubbed ModDrop++ to train a unified network adaptive to an arbitrary number of input MRI sequences. ModDrop++ upgrades the main idea of ModDrop in two key ways. First, we devise a plug-and-play dynamic head and adopt a filter scaling strategy to improve the expressiveness of the network. Second, we design a co-training strategy to leverage the intra-subject relation between full modality and missing modality. Specifically, the intra-subject co-training strategy aims to guide the dynamic head to generate similar feature representations between the full- and missing-modality data from the same subject. We use two public MS datasets to show the superiority of ModDrop++. Source code and trained models are available at https://github.com/han-liu/ModDropPlusPlus.

연구 동기 및 목표

• 다발성 경화증 병변 분할에서 MRI 모달리티의 불일치한 가용성 문제를 해결한다.
• Modality Dropout (ModDrop)의 한계, 즉 네트워크 표현력의 제한성과 환자 내 지식 전이의 부재를 극복한다.
• 기존 네트워크 아키텍처를 수정하지 않고도 임의의 결손 모달리티 조합에 대해 일반화 성능을 향상시키는 플러그 앤 플레이 방식의 방법을 개발한다.
• 통합 모델과 모달리티별 특화 모델 간의 성능 격차를 최소화하여 임상적 구현의 안정성을 확보한다.
• 동일 환자에서의 전체 및 결손 모달리티 입력 간의 특징 표현 일관성을 향상시키기 위해 환자 간 관계를 활용한다.

제안 방법

• 결손 모달리티 패턴에 따라 조건화된 필터 스케일링 행렬을 생성하는 플러그 앤 플레이 방식의 동적 헤드를 도입하여 적응형 특징 학습을 가능하게 한다.
• 입력 모달리티 가용성에 따라 첫 번째 합성곱 레이어의 파라미터를 동적으로 조정하기 위한 필터 스케일링 전략을 적용한다.
• 동일 환자에서의 전체 모달리티 및 결손 모달리티 입력 간의 특징 표현을 정렬하기 위한 환자 내 공통 학습 전략을 설계한다.
• 동일 환자에서의 특징 맵 간 유사성을 장려하기 위해 대조 손실을 사용하여 동적 헤드를 훈련시킨다.
• 동적 헤드와 공통 학습 전략을 통합한 유일한 네트워크를 ModDrop 기반으로 훈련시켜 모델 아키텍처의 유연성을 유지한다.
• 다양한 결손 모달리티 시나리오에서 성능을 검증하기 위해 공개된 두 개의 다발성 경화증 데이터셋(ISBI 2015 및 MSSEG)을 사용한다.

실험 결과

연구 질문

• RQ1 결손 모달리티 조건 하에서 동적 필터 메커니즘이 다발성 경화증 병변 분할 성능의 표현력 향상에 기여하는가?
• RQ2 전체 및 결손 모달리티 데이터 간의 환자 내 공통 학습이 특징 표현 일관성과 분할 정확도 향상에 기여하는가?
• RQ3 ModDrop++는 단일 통합 아키텍처를 유지하면서도 모달리티별 특화 모델과 유사한 성능을 달성할 수 있는가?
• RQ4 동적 필터링과 공통 학습의 조합이 다양한 결손 모달리티 구성에서 표준 ModDrop보다 우수한 성능을 내는가?
• RQ5 이 방법은 모달리티 가용성과 환자 수가 다양한 데이터셋 간에도 얼마나 잘 일반화되는가?

주요 결과

• 모든 모달리티가 가용한 상황에서 ISBI 2015 데이터셋에서 ModDrop++는 최고의 Dice Similarity Coefficient(DSC) 0.793을 기록하여 기준 ModDrop 및 모달리티별 특화 모델을 모두 초월했다.
• T1w 모달리티만 가용한 경우 ModDrop++는 DSC 0.710을 기록하여 ModDrop(0.684)를 뛰어넘었고, 잠재적 오진과 탈락도 감소시켰다.
• FLAIR 모달리티가 결손된 경우 ModDrop++는 DSC 0.772를 유지하여 이 중요한 모달리티가 없는 상황에서도 뛰어난 내성성을 입증했다.
• 동적 헤드와 환자 내 공통 학습의 조합(ModDrop++)는 특히 낮은 모달리티 수 상황에서 통합 모델과 모달리티별 특화 모델 간의 성능 격차를 줄였다.
• MSSEG 데이터셋에서 모든 모달리티가 존재할 경우 ModDrop++는 DSC 0.776을 기록했고, T1w 모달리티만 존재할 경우에도 강력한 성능(0.748)을 유지하여 일관된 일반화 능력을 보였다.
• 정성적 결과에서는 특히 단일 모달리티 상황에서 ModDrop에 비해 ModDrop++에서 오진과 탈락이 더 적게 발생했다.