[논문 리뷰] Simultaneous Super-Resolution and Cross-Modality Synthesis of 3D Medical Images using Weakly-Supervised Joint Convolutional Sparse Coding

Yawen Huang, Ling Shao외 1명|arXiv (Cornell University)|2017. 05. 07.

Advanced Image Processing Techniques참고 문헌 34인용 수 12

한 줄 요약

이 논문은 MMD 정규화와 이종 도메인 정렬 항을 통해 소수의 등록된 다중 모odal 쌍과 비등록 데이터만을 이용하여 동시에 3D 의료 영상 초해상도화(SR) 및 교차 모odal 영상 합성(CMS)을 수행하는 약한 지도 학습 기반의 공동 컨volution 스퍼스 코딩 방법인 WEENIE를 제안한다. 이 방법은 공유된 특징 공간에서 필터 쌍과 매핑 함수를 동시에 최적화하면서 국소적 이미지 이웃 구조를 유지함으로써 SR 및 SRCMS 과제에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Magnetic Resonance Imaging (MRI) offers high-resolution \emph{in vivo} imaging and rich functional and anatomical multimodality tissue contrast. In practice, however, there are challenges associated with considerations of scanning costs, patient comfort, and scanning time that constrain how much data can be acquired in clinical or research studies. In this paper, we explore the possibility of generating high-resolution and multimodal images from low-resolution single-modality imagery. We propose the weakly-supervised joint convolutional sparse coding to simultaneously solve the problems of super-resolution (SR) and cross-modality image synthesis. The learning process requires only a few registered multimodal image pairs as the training set. Additionally, the quality of the joint dictionary learning can be improved using a larger set of unpaired images. To combine unpaired data from different image resolutions/modalities, a hetero-domain image alignment term is proposed. Local image neighborhoods are naturally preserved by operating on the whole image domain (as opposed to image patches) and using joint convolutional sparse coding. The paired images are enhanced in the joint learning process with unpaired data and an additional maximum mean discrepancy term, which minimizes the dissimilarity between their feature distributions. Experiments show that the proposed method outperforms state-of-the-art techniques on both SR reconstruction and simultaneous SR and cross-modality synthesis.

연구 동기 및 목표

• 촬영 시간과 비용 등의 임상적 제약로 인해 저해상도 단일 모달리티 스캔에서 고해상도 다중 모달리티 3D MRI를 생성하는 데 도전하는 것.
• 대규모 레이블이 필요한 지도 학습 방법과 피처 패치 기반 방법이 초래하는 융합 불일치 문제를 극복하는 것.
• 소수의 등록된 이미지 쌍과 비등록 데이터만을 사용하여 동시에 초해상도화와 교차 모달 영상 합성을 가능하게 하는 것.
• 다양한 해상도, 모달리티, 자세를 가진 이종 데이터를 공통 특징 공간에서 정렬함으로써 표현 학습을 향상시키는 것.
• 패치가 아닌 전체 이미지 도메인에서 작동함으로써 국소적 이미지 구조를 유지하고 공간 일관성을 향상시키는 것.

제안 방법

• 약한 지도 학습 기반의 공동 컨volution 스퍼스 코딩(WEENIE)을 활용하여 T1, T2, PD MRI 등 다양한 이미지 도메인 간의 통합 표현을 학습하고 공유된 희박성 제약 조건을 적용한다.
• 원천 도메인과 타겟 도메인 간의 대응 관계를 포즈 변화에 관계없이 식별할 수 있도록 이종 도메인 이미지 정렬 항을 도입하여 비등록 이미지의 활용을 가능하게 한다.
• 등록된 데이터와 비등록된 데이터의 특징 표현 간 분포 차이를 최소화하기 위해 최대 평균 차이(MMD) 항을 사용하여 공동 사전 학습 과정을 정규화한다.
• 패치가 아닌 전체 이미지 도메인에서 직접 작동함으로써 국소적 이웃 구조를 유지하고 일관성을 향상시킨다.
• 원천 모달리티 표현과 타겟 모달리티 표현 간의 매핑 함수를 학습하여 종단 간 합성 및 초해상도화를 가능하게 한다.
• 공통 특징 공간에서 필터 쌍과 매핑 함수를 동시에 최적화함으로써 표현 능력과 강인성을 향상시킨다.

실험 결과

연구 질문

• RQ1 소수의 등록된 이미지 쌍만을 사용하여 약한 지도 학습 기반 방법이 3D MRI에서 고품질의 초해상도화 및 교차 모달 영상 합성을 달성할 수 있는가?
• RQ2 다른 환자 및 모달리티에서 온 비등록 이미지를 어떻게 효과적으로 활용하여 레이아웃 전체가 아닌 표현 학습을 향상시킬 수 있는가?
• RQ3 이종 도메인 정렬 항을 통합함으로써 다양한 이미지 도메인 간의 대응 학습이 얼마나 향상되는가?
• RQ4 공유된 특징 공간에서 필터 쌍과 매핑 함수를 동시에 최적화하는 것이 패치 기반 방법에 비해 국소적 이미지 구조를 더 잘 유지하는가?
• RQ5 MMD 정규화를 통합함으로써 제한된 등록된 데이터와 다양한 비등록된 데이터에서 학습할 때 모델의 강인성과 일반화 능력이 향상되는가?

주요 결과

• IXI 데이터셋에서 PD-w 입력에 대한 T2-w 영상 초해상도화 과제에서 WEENIE는 최고의 PSNR(37.77 dB)와 SSIM(0.8634)를 기록하여 최신 기술 수준의 방법들을 능가한다.
• NAMIC 데이터셋에서 T2-w 입력에 대한 T1-w 영상 합성 과제에서 WEENIE는 PSNR 29.04 dB, SSIM 0.9173을 기록하여 뛰어난 성능을 보였다.
• 비등록 데이터를 포함한 방법(WEENIE(reg))은 MIMECS 및 V-US에 비해 더 나은 성능을 보였으며, 특히 백질 구조와 강도 프로파일을 잘 유지하는 것으로 나타났다.
• 동시 초해상도화 및 교차 모달 영상 합성(SRCMS) 과제에서 WEENIE는 IXI 및 NAMIC 데이터셋의 모든 6개 실험 그룹에서 MIMECS, V-US, V-S를 일관되게 능가했다.
• MMD 정규화는 모든 벤치마크에서 PSNR 및 SSIM에 일관된 향상을 보이며 모델의 강인성과 표현 품질을 크게 향상시켰다.
• 시각적 비교 결과, WEENIE는 특히 해부학적 경계와 회백-백질 분리에서 경계가 더 선명하고 강도 분포가 더 정확한 결과를 생성함을 확인했다.