[논문 리뷰] Representation Disentanglement for Multi-modal MR Analysis.

Jiahong Ouyang, Ehsan Adeli외 3명|arXiv (Cornell University)|2021. 02. 23.

Radiomics and Machine Learning in Medical Imaging참고 문헌 18인용 수 6

한 줄 요약

이 논문은 다중 모odal MRI에서 해부학적 및 모odal 특화 표현을 명시적으로 분리하는 마진 손실과 조건부 컨볼루션 기반 프레임워크를 제안하여, 우수한 표현 분리 성능을 달성하고, 후속 작업(예: 제로-드롭 PET 재구성 및 뇌 종양 세분화)에 대해 강건하고 모달리티에 영향을 받지 않는 특징을 가능하게 한다.

ABSTRACT

Multi-modal MRIs are widely used in neuroimaging applications since different MR sequences provide complementary information about brain structures. Recent works have suggested that multi-modal deep learning analysis can benefit from explicitly disentangling anatomical (shape) and modality (appearance) information into separate image presentations. In this work, we challenge mainstream strategies by showing that they do not naturally lead to representation disentanglement both in theory and in practice. To address this issue, we propose a margin loss that regularizes the similarity in relationships of the representations across subjects and modalities. To enable robust training, we further use a conditional convolution to design a single model for encoding images of all modalities. Lastly, we propose a fusion function to combine the disentangled anatomical representations as a set of modality-invariant features for downstream tasks. We evaluate the proposed method on three multi-modal neuroimaging datasets. Experiments show that our proposed method can achieve superior disentangled representations compared to existing disentanglement strategies. Results also indicate that the fused anatomical representation has potential in the downstream task of zero-dose PET reconstruction and brain tumor segmentation. The code is available at \url{this https URL}.

연구 동기 및 목표

• 기존의 다중 모달 MRI에서의 표현 분리 방법이 이론적·실제로 진정으로 표현을 분리하지 못하는 한계를 해결하기 위해.
• 모든 MRI 모달리티를 단일 통합 모델로 인코딩할 수 있는 훈련에 강건한 프레임워크를 개발하기 위해.
• 분리된 해부학적 표현을 융합하여 후속 작업을 위한 모달리티에 영향을 받지 않는 특징 표현을 설계하기 위해.
• 임상적으로 관련된 응용을 위한 실제 신경영상 데이터셋에서 제안된 방법의 유효성을 검증하기 위해.

제안 방법

• 다양한 환자 및 모달리티 간 표현 관계의 유사성을 정규화하는 마진 손실을 도입하여 표현 분리를 강제한다.
• 단일 모델 내에서 여러 MRI 모달리티의 인코딩을 통합하기 위해 조건부 컨볼루션 네트워크를 활용하여 훈련 안정성과 일반화 능력을 향상시킨다.
• 분리된 해부학적 표현을 융합하여 단일한 모달리티에 영향을 받지 않는 특징 표현으로 통합하는 융합 함수를 설계한다.
• 분리된 해부학적 특징을 제로-드롭 PET 재구성 및 뇌 종양 세분화와 같은 후속 작업의 입력으로 사용한다.
• 마진 손실을 사용해 엔드 투 엔드로 모델을 훈련시어 표현 분리와 후속 작업 성능을 동시에 최적화한다.
• 학습된 모달리티에 영향을 받지 않는 특징을 활용하여, 모달리티 특화된 변동성이 학습을 방해할 수 있는 작업에서 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 기존의 다중 모달 MRI에서의 표현 분리 전략은 이론적·실제로 진정으로 표현 분리를 달성할 수 있는가?
• RQ2 통합 모델은 다양한 MRI 모달리티를 효과적으로 인코딩하면서도 분리된 해부학적 및 외관 특징을 유지할 수 있는가?
• RQ3 제안된 마진 손실이 환자 간 및 모달리티 간 표현 관계를 효과적으로 정규화하여 표현 분리 성능을 향상시키는가?
• RQ4 융합된 해부학적 표현은 후속 신경영상 작업을 위한 강건하고 모달리티에 영향을 받지 않는 특징으로 기능할 수 있는가?
• RQ5 기존 기준 대비 제안된 방법이 제로-드롭 PET 재구성 및 뇌 종양 세분화 성능 향상에 얼마나 기여하는가?

주요 결과

• 제안된 방법은 세 개의 다중 모달 뇌 영상 데이터셋에서 기존의 표현 분리 전략보다 뛰어난 표현 분리 성능을 달성한다.
• 분리된 해부학적 표현은 제로-드롭 PET 재구성 성능을 크게 향상시켜, 모달리티에 영향을 받지 않는 특징의 유용성을 입증한다.
• 융합된 해부학적 표현은 다양한 데이터셋에서 뇌 종양 세분화 작업에서 최고 수준 또는 경쟁력 있는 성능을 기록한다.
• 조건부 컨볼루션 설계 덕분에 단일 모델 내에서 안정적이고 효과적인 다중 모달 인코딩이 가능해져 훈련의 강건성이 향상된다.
• 마진 손실은 표현 관계를 효과적으로 정규화하여 환자 및 모달리티 간 일관성 있고 더 잘 분리된 특징을 도출한다.
• 이 방법은 다양한 신경영상 작업에 대해 잘 일반화되며, 임상 적용 가능성에 매우 높은 잠재력을 보인다.