[논문 리뷰] Disentangle, align and fuse for multimodal and zero-shot image segmentation

Agisilaos Chartsias, Giorgos Papanastasiou외 5명|arXiv (Cornell University)|2019. 11. 12.

Advanced MRI Techniques and Applications참고 문헌 41인용 수 9

한 줄 요약

이 논문은 MRI 시퀀스 간 해부학적 요소와 영상 촬영 요소를 분리하고, 공간 변환 네트워크를 통해 이를 정렬하며, 공유된 해부학적 특징을 융합하여 다중 모odal 및 제로샷 이미지 분할 정확도를 향상시키는 새로운 방법을 제안한다. 이 방법은 정렬 불일치와 신호 강도 격차가 존재하는 상황에서도 다중 모odal 정보를 활용함으로써 준지도 학습 및 제로샷 학습을 가능하게 한다.

ABSTRACT

Magnetic resonance (MR) protocols rely on several sequences to properly assess pathology and organ status. Yet, despite advances in image analysis we tend to treat each sequence, here termed modality, in isolation. Taking advantage of the information shared between modalities (largely an organ's anatomy) is beneficial for multi-modality multi-input processing and learning. However, we must overcome inherent anatomical misregistrations and disparities in signal intensity across the modalities to claim this benefit. We present a method that offers improved segmentation accuracy of the modality of interest (over a single input model), by learning to leverage information present in other modalities, enabling semi-supervised and zero shot learning. Core to our method is learning a disentangled decomposition into anatomical and imaging factors. Shared anatomical factors from the different inputs are jointly processed and fused to extract more accurate segmentation masks. Image misregistrations are corrected with a Spatial Transformer Network, that non-linearly aligns the anatomical factors. The imaging factor captures signal intensity characteristics across different modality data, and is used for image reconstruction, enabling semi-supervised learning. Temporal and slice pairing between inputs are learned dynamically. We demonstrate applications in Late Gadolinium Enhanced (LGE) and Blood Oxygenation Level Dependent (BOLD) cardiac segmentation, as well as in T2 abdominal segmentation.

연구 동기 및 목표

• 다양한 MRI 시퀀스 간 공유되는 해부학적 정보를 활용하여 의료 영상에서의 분할 정확도를 향상시키기 위해.
• MRI 모odal 간 해부학적 정렬 불일치와 신호 강도 격차 문제를 해결하기 위해.
• 다중 모달 간 상관관계를 활용하여 제로샷 및 준지도 학습을 가능하게 하기 위해.
• 다중 모달 입력 간 시간적 및 슬라이스 수준의 쌍을 동적으로 학습하기 위해.
• LGE, BOLD, T2 심장 및 Abdominal 영상과 같은 임상적으로 중요한 과제에서 분할 성능을 향상시키기 위해.

제안 방법

• 깊이 신경망 아키텍처를 사용하여 입력 MRI 시퀀스를 공유되는 해부학적 요소와 모달리티 특화된 영상 요소로 분리한다.
• 공유되는 해부학적 요소는 공동으로 처리되고 융합되어 더 정확한 분할 마스크를 생성한다.
• 공간 변환 네트워크를 적용하여 모달리티 간 해부학적 요소를 비선형적으로 정렬함으로써 공간적 정렬 불일치를 보정한다.
• 영상 요소는 이미지 복원에 사용되어, 비라벨 데이터를 복원함으로써 준지도 학습을 가능하게 한다.
• 학습 중에 입력 간 시간적 및 슬라이스 수준의 쌍을 동적으로 학습하여 모달리티 간 정렬을 향상시킨다.
• 공유되는 해부학적 표현을 사용하여 본 적 없는 모달리티로 지식을 전이함으로써 제로샷 분할을 지원한다.

실험 결과

연구 질문

• RQ1 해부학적 요소와 영상 요소를 분리함으로써 다중 모달 MRI에서 분할 정확도를 향상시킬 수 있는가?
• RQ2 학습 가능한 정렬 메커니즘을 사용하여 MRI 시퀀스 간 공간적 정렬 불일치를 얼마나 효과적으로 보정할 수 있는가?
• RQ3 공유되는 해부학적 표현이 MRI 모달리티 간 제로샷 분할을 얼마나 잘 가능하게 하는가?
• RQ4 영상 요소에서의 이미지 복원이 자료가 적은 환경에서 준지도 학습을 얼마나 향상시킬 수 있는가?
• RQ5 시간적 및 슬라이스 수준의 입력 쌍을 동적으로 학습하는 것이 분할 성능에 어떤 영향을 미치는가?

주요 결과

• 다중 모달 정보를 활용함으로써 단일 모달리티 기반 모델 대비 분할 정확도가 향상된다.
• 공간 변환 네트워크의 사용으로 해부학적 정렬 불일치가 분할 성능에 미치는 영향이 크게 감소한다.
• 분리된 표현은 효과적인 제로샷 분할을 가능하게 하여, 본 적 없는 MRI 시퀀스로도 일반화된다.
• 영상 요소에서의 이미지 복원을 통해 준지도 학습이 향상되어, 라벨이 제한된 데이터로도 성능 향상이 이루어진다.
• 시간적 및 슬라이스 수준의 쌍을 동적으로 학습함으로써 더 나은 정렬과 더 견고한 특징 융합이 이루어진다.
• LGE, BOLD, T2 복부 분할과 같은 도전적인 임상 과제에서 뛰어난 성능을 보였다.