[논문 리뷰] Information-based Disentangled Representation Learning for Unsupervised MR Harmonization

Lianrui Zuo, Blake E. Dewey외 5명|arXiv (Cornell University)|2021. 03. 24.

Advanced MRI Techniques and Applications참고 문헌 28인용 수 6

한 줄 요약

이 논문은 정보 볼록이론에 기반한 비지도 MR 조화화 프레임워크인 CALAMITI를 제안한다. 이는 상호 사이트 쌍화된 데이터가 필요 없이 다중 사이트 MR 영상 번역을 위한 분리된 잠재 공간을 학습한다. 내부 사이트의 T1- 및 T2-가중 영상 쌍과 통합 아키텍처를 활용하여, 조화화 정확도와 일반화 능력에서 최신 기술 수준(SOTA) 성능을 달성하며, 새로운 사이트에 대해 피지컬 펌웨어(fine-tuning)를 통해 강력한 제로샷 적응을 가능하게 한다.

ABSTRACT

Accuracy and consistency are two key factors in computer-assisted magnetic resonance (MR) image analysis. However, contrast variation from site to site caused by lack of standardization in MR acquisition impedes consistent measurements. In recent years, image harmonization approaches have been proposed to compensate for contrast variation in MR images. Current harmonization approaches either require cross-site traveling subjects for supervised training or heavily rely on site-specific harmonization models to encourage harmonization accuracy. These requirements potentially limit the application of current harmonization methods in large-scale multi-site studies. In this work, we propose an unsupervised MR harmonization framework, CALAMITI (Contrast Anatomy Learning and Analysis for MR Intensity Translation and Integration), based on information bottleneck theory. CALAMITI learns a disentangled latent space using a unified structure for multi-site harmonization without the need for traveling subjects. Our model is also able to adapt itself to harmonize MR images from a new site with fine tuning solely on images from the new site. Both qualitative and quantitative results show that the proposed method achieves superior performance compared with other unsupervised harmonization approaches.

연구 동기 및 목표

• 영역 이동으로 인해 기계 학습 모델 성능이 저하되는 다수 사이트 간 MR 영상 대trast 변화 문제를 해결한다.
• 이동 환자나 사이트 간 쌍화된 데이터가 필요한 기존의 지도 학습 기반 조화화 방법의 한계를 극복한다.
• 모든 도메인에 대해 재학습이 필요 없이 새로운 사이트로 일반화되는 비지도 접근법을 개발한다.
• 기존에 보지 못한 사이트에 대해 오직 해당 사이트의 데이터에 대한 펌웨어만으로도 도메인 적응을 가능하게 한다.
• 사이트 특화 판별기 없이도 기하학적 이동에 강건하고, 높은 영상 품질을 유지한다.

제안 방법

• 정보 볼록이론에 기반한 통합 프레임워크인 CALAMITI를 제안하여 도메인 불변 해부학과 도메인 특화 강도 요소를 분리하는 표현을 학습한다.
• 상호 사이트 쌍화된 데이터에 의존하지 않고, 내부 사이트의 T1- 및 T2-가중 MR 영상 쌍을 활용해 분리 표현을 지도한다.
• 잠재 공간에서 내용(해부학)과 강도(대trast) 요소를 분리하는 분리된 볼록 모듈을 통합한다.
• 모든 사이트에서 공통된 인코더-디코더 아키텍처를 사용하여 사이클 일致성 영상-영상 번역 손실을 적용해 일관성을 강화한다.
• 사이트에 의존하지 않는 판별기(β-판별기)를 도입하여 분리 표현을 안내하고 번역 정밀도를 향상시킨다.
• 오직 새로운 사이트의 이미지 데이터에 대한 펌웨어만으로도 제로샷 도메인 적응을 가능하게 한다.

실험 결과

연구 질문

• RQ1 상호 사이트 쌍화된 데이터 없이도 비지도 MR 조화화 방법이 최신 기술 수준 성능을 달성할 수 있는가?
• RQ2 여러 사이트에서 훈련된 통합 모델이 오직 해당 사이트의 데이터에 대한 펌웨어만으로도 새로운, 이전에 보지 못한 사이트로 일반화될 수 있는가?
• RQ3 정보 볼록이론에 기반한 분리된 표현 학습이 조화화 품질 향상과 기하학적 이동 감소에 기여하는가?
• RQ4 명시적인 도메인 특화 구성 요소 없이도 다양한 MR 대trast와 스캐너 설정 간에 고성능의 일관성과 정밀도를 유지할 수 있는가?
• RQ5 제안된 방법이 다중 사이트 환경에서 기존의 비지도 조화화 기반 방법과 비교해 정량적·정성적으로 어떻게 성능을 냈는가?

주요 결과

• CALAMITI는 모든 테스트된 사이트 간 조화화 작업에서 최고의 SSIM 및 PSNR 성능을 기록했으며, 평균 SSIM은 0.8663 ± 0.0233(Site D → C)이며 PSNR는 28.68 ± 1.28(Site F → E)로 모든 기준 기반 방법을 앞서며 우월성을 입증했다.
• 새로운 사이트에서의 펌웨어 후, 조화화 품질이 유의미하게 향상되었으며, 대응 Wilcoxon 부호 순위 검정(p-value < 0.001, N=420)에서 유의미한 개선이 확인되었다.
• 도메인 적응 실험에서 SSIM은 0.8729 ± 0.0301에서 0.8743 ± 0.0291로, PSNR는 29.01 ± 1.07에서 29.41 ± 0.98로 향상되어 효과적인 적응 능력을 입증했다.
• 시각적 결과는 다양한 스캐너 대trast와 사이트에서 실제적이고 해부학적으로 일관된 조화화된 영상을 생성함을 보여주었다.
• 모델은 모든 도메인에 대해 재학습 없이도 새로운 사이트로 잘 일반화되며, 오직 한 사이트의 데이터에 대한 펌웨어만으로도 고성능 결과를 달성할 수 있었다.
• 모델은 다발성 경화증 환자에서 백질 병변을 조화화하는 데에는 한계를 보였으며, FLAIR 대trast를 포함시켜 개선 가능성을 시사한다.