[논문 리뷰] Toward Unpaired Multi-modal Medical Image Segmentation via Learning Structured Semantic Consistency

Jie Yang, Ye Zhu외 3명|arXiv (Cornell University)|2022. 06. 21.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 CT와 MRI와 같은 모odal 간의 구조적 의미 일致성을 학습하기 위해 플러그 앤 플레이 외부 주의 모듈(EAM)으로 강화된 단일 트랜스포머 백본을 사용하는 새로운 비쌍체 다중모odal 의료 영상 분할 방법을 제안한다. 짝지어지지 않은 데이터를 요구하지 않고 전역 클래스 임베딩과 이미지 수준의 의미 상관관계를 정렬함으로써, 최신 기술 수준의 성능을 달성하며, 두 분할 작업에서 평균 디스크 스코어를 각각 2.6%와 2.5% 향상시켰고, 추론 시 EAM을 제거하여 모델의 단순성을 유지한다.

ABSTRACT

Integrating multi-modal data to promote medical image analysis has recently gained great attention. This paper presents a novel scheme to learn the mutual benefits of different modalities to achieve better segmentation results for unpaired multi-modal medical images. Our approach tackles two critical issues of this task from a practical perspective: (1) how to effectively learn the semantic consistencies of various modalities (e.g., CT and MRI), and (2) how to leverage the above consistencies to regularize the network learning while preserving its simplicity. To address (1), we leverage a carefully designed External Attention Module (EAM) to align semantic class representations and their correlations of different modalities. To solve (2), the proposed EAM is designed as an external plug-and-play one, which can be discarded once the model is optimized. We have demonstrated the effectiveness of the proposed method on two medical image segmentation scenarios: (1) cardiac structure segmentation, and (2) abdominal multi-organ segmentation. Extensive results show that the proposed method outperforms its counterparts by a wide margin.

연구 동기 및 목표

• 패널티 없는 픽셀 수준의 대응 관계가 존재하지 않는 비쌍체 다중모달 의료 영상(예: CT와 MRI)을 분할하는 데 도전하는 것.
• 공간적으로 정렬된 데이터가 필요 없이 도메인 이동과 모달 간 불일치를 극복하는 것.
• 모달 간의 클래스 표현과 상호 클래스 상관관계를 포함한 구조적 의미 일치를 학습하여 모델 일반화 능력을 향상시키는 것.
• 학습 후 제거 가능하여 모델 단순성과 추론 효율성을 유지할 수 있는 경량이고 모듈화된 구성 요소(EAM)를 설계하는 것.
• 데이터가 불균형한 경우, 한 모달이 다른 모달보다 더 적은 샘플을 가질 때도 효과적인 지식 전이를 가능하게 하는 것.

제안 방법

• 비쌍체 CT 및 MRI 영상에서 다중 척도 특징을 추출하기 위해 공통의 트랜스포머 백본을 사용한다.
• 각 의미 클래스별로 모달에 특화된 학습 가능한 클래스 임베딩을 도입하여 각 모달의 전역 클래스 수준 특징을 표현한다.
• 특징 맵과 클래스 임베딩을 외부 주의 모듈(EAM)에 입력하여 다중 척도에서 이미지 특화 클래스 표현과 상호 클래스 상관관계를 캡처한다.
• 모달 수준 및 이미지 수준에서 일致성 정규화를 통해 구조적 의미 일치를 강제하여, 서로 다른 모달 간의 클래스 표현과 그 상관관계를 정렬한다.
• EAM을 활성화한 채로 모델을 훈련한 후, 추론 시에는 이를 제거하여 단일 트랜스포머 분할 헤드를 유지하는 경량 모델을 확보한다.
• 의료 데이터의 가용성이 제한되어 있으므로, ImageNet에서의 사전 훈련을 활용하여 훈련 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 짝지어지지 않은 다중모달 의료 영상(예: CT와 MRI) 간의 구조적 의미 일치는 짝지어진 데이터나 공간 정렬 없이 효과적으로 학습될 수 있는가?
• RQ2 모달 특화 및 이미지 특화 의미 표현을 어떻게 정렬하여 도메인 이동에 대비한 분할 정확도를 향상시킬 수 있는가?
• RQ3 플러그 앤 플레이 주의 모듈은 의미 일치 학습을 향상시키면서도 학습 후 모델 단순화를 가능하게 할 수 있는가?
• RQ4 저자원 모달이 비쌍체 환경에서 고자원 모달의 성능을 어느 정도 향상시킬 수 있는가?
• RQ5 다양한 2D 및 3D 의료 영상 분할 작업, 특히 데이터 분포가 다른 상황에서 이 방법은 어떻게 일반화되는가?

주요 결과

• 제안된 방법은 심장 구조 분할 작업에서 최신 기술 수준의 기준 대비 평균 디스크 스코어를 2.6% 향상시켰다.
• Abdominal 다기관 분할 작업에서는 기존 방법 대비 평균 디스크 스코어를 2.5% 향상시켜 강력한 일반화 능력을 입증했다.
• 샘플 수가 적은 소수 모드에서도 높은 성능을 유지하여, 소수 모달이 다수 모달의 훈련을 보조할 수 있음을 보여주었다.
• 샘플 수가 적은 모달이 다수 모달의 성능 향상에 기여함으로써 효과적인 다중 모달 간 지식 전이가 이루어짐을 시사했다.
• EAM 모듈은 학습 후 성공적으로 제거되었으며, 단일 트랜스포머 백본을 가진 경량 추론 모델을 확보했다.
• ImageNet에서의 사전 훈련이 성능 향상에 크게 기여하여, 저자원 의료 분할 환경에서 초기화의 중요성을 입증했다.