[논문 리뷰] Deep Embedding Convolutional Neural Network for Synthesizing CT Image from T1-Weighted MR Image

Lei Xiang, Qian Wang외 4명|arXiv (Cornell University)|2017. 09. 07.

Advanced Image Processing Techniques참고 문헌 38인용 수 15

한 줄 요약

이 논문은 T1 강조 MR 영상에서 CT 영상을 합성하기 위해 반복적인 특징 맵 개선을 통해 일시적인 CT 출력을 특징 공간으로 다시 통합하는 딥 임bed딩 컨volution 신경망(DECNN)을 제안한다. 이 방법은 뇌 및 프로스타트 데이터셋에서 최신 기술 대비 뛰어난 합성 품질과 더 빠른 추론 속도를 달성한다.

ABSTRACT

Recently, more and more attention is drawn to the field of medical image synthesis across modalities. Among them, the synthesis of computed tomography (CT) image from T1-weighted magnetic resonance (MR) image is of great importance, although the mapping between them is highly complex due to large gaps of appearances of the two modalities. In this work, we aim to tackle this MR-to-CT synthesis by a novel deep embedding convolutional neural network (DECNN). Specifically, we generate the feature maps from MR images, and then transform these feature maps forward through convolutional layers in the network. We can further compute a tentative CT synthesis from the midway of the flow of feature maps, and then embed this tentative CT synthesis back to the feature maps. This embedding operation results in better feature maps, which are further transformed forward in DECNN. After repeat-ing this embedding procedure for several times in the network, we can eventually synthesize a final CT image in the end of the DECNN. We have validated our proposed method on both brain and prostate datasets, by also compar-ing with the state-of-the-art methods. Experimental results suggest that our DECNN (with repeated embedding op-erations) demonstrates its superior performances, in terms of both the perceptive quality of the synthesized CT image and the run-time cost for synthesizing a CT image.

연구 동기 및 목표

• 모odal 간 큰 외관 차이를 보이는 T1 강조 MR 영상에서 CT 영상을 합성하는 데 도전하는 것.
• 새로운 딥 임bed딩 메커니즘을 컨volution 신경망에 도입하여 합성 품질과 추론 속도를 향상시키는 것.
• 방사선 치료 계획 및 영상 유도 수술 등의 애플리케이션을 위해 정확하고 시각적으로 현실적인 CT 영상 생성을 가능하게 하는 것.
• 뇌 및 프로스타트를 포함한 다양한 해부학적 영역에서 방법을 검증하여 다양한 조직과 구조에 대한 강건성을 입증하는 것.

제안 방법

• 이 방법은 입력 T1 강조 MR 영상에서 먼저 특징 맵을 추출하는 깊이 있는 컨volution 신경망을 사용한다.
• 중간 특징 맵을 사용하여 네트워크의 전진 전파를 통해 일시적인 CT 영상을 생성한다.
• 일시적인 CT 출력이 학습된 변환을 통해 특징 공간으로 다시 임베딩되어 특징 맵이 개선된다.
• 이 임베딩 과정이 네트워크 아키텍처 내에서 여러 번 반복되어 점진적으로 향상된 특징 표현을 얻는다.
• 개선된 특징들이 이후 레이어를 통과하여 최종적으로 고품질의 CT 합성 결과를 생성한다.
• 해부학적 세부 사항과 영상 무결성을 유지하기 위해 인지 손실과 재구성 손실을 사용하여 엔드 투 엔드로 네트워크를 훈련시킨다.

실험 결과

연구 질문

• RQ1 중간 CT 예측치를 특징 맵에 반복적으로 임베딩하는 것이 MR에서 CT 합성 품질을 향상시킬 수 있는가?
• RQ2 제안된 DECNN은 기존 방법 대비 시각적 품질과 추론 속도 측면에서 어떻게 비교되는가?
• RQ3 임베딩 메커니즘이 다중 모odal 영상 번역을 위한 특징 표현 학습을 향상시키는가?
• RQ4 이 방법은 뇌 및 프로스타트와 같은 다양한 해부학적 영역으로 일반화 가능한가?
• RQ5 반복적인 임베딩 연산이 최종 CT 합성 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 DECNN은 뇌 및 프로스타트 데이터셋에서 최신 기술 대비 뛰어난 시각적 품질과 추론 속도를 확보한다.
• 반복적인 임베딩 메커니즘이 특징 표현을 크게 향상시켜 더 정확하고 해부학적으로 타당한 CT 합성 결과를 이끌어낸다.
• 경쟁 기술 대비 더 빠른 추론 시간을 달성하여 임상 적용에 적합하다.
• PSNR 및 SSIM과 같은 정량적 지표는 기준 모델 대비 일관된 향상을 보여준다.
• 다양한 해부학적 영역에서 잘 일반화되어 있으며 조직과 구조적 변동성에 대해 강건함을 보인다.
• 시각적 점검 결과, 합성된 CT 영상은 특히 피질 및 뼈 부위에서 세밀한 디테일과 구조적 무결성을 잘 유지하고 있음을 확인했다.