[논문 리뷰] MR to X-Ray Projection Image Synthesis

Bernhard Stimpel, Christopher Syben외 4명|arXiv (Cornell University)|2017. 10. 20.

Advanced Image Processing Techniques참고 문헌 13인용 수 5

한 줄 요약

이 논문은 세 가지 생성자 아키텍처(U-Net, ResNet, 캐스케이드 리파인먼트 네트워크)와 두 가지 손실 함수(ℓ₁ 및 퍼셉추얼 손실)를 사용하여 자기공명 영상(MR) 투시도 영상에서 X선 투시도 영상으로의 합성에 대한 딥러닝 기반 방법을 제안한다. 퍼셉추얼 손실은 ℓ₁ 손실보다 고주파 수치를 더 잘 유지하는 것으로 나타났으며, 캐스케이드 리파인먼트 네트워크와 조합하여 가장 우수한 정성적 및 정량적 성능을 달성하여 고해상도 Fluoroscopic 영상 향상 및 다중 모odal 융합을 가능하게 한다.

ABSTRACT

Hybrid imaging promises large potential in medical imaging applications. To fully utilize the possibilities of corresponding information from different modalities, the information must be transferable between the domains. In radiation therapy planning, existing methods make use of reconstructed 3D magnetic resonance imaging data to synthesize corresponding X-ray attenuation maps. In contrast, for fluoroscopic procedures only line integral data, i.e., 2D projection images, are present. The question arises which approaches could potentially be used for this MR to X-ray projection image-to-image translation. We examine three network architectures and two loss-functions regarding their suitability as generator networks for this task. All generators proved to yield suitable results for this task. A cascaded refinement network paired with a perceptual-loss function achieved the best qualitative results in our evaluation. The perceptual-loss showed to be able to preserve most of the high-frequency details in the projection images and, thus, is recommended for the underlying task and similar problems.

연구 동기 및 목표

• fluoroscopic 치료 절차에 활용하기 위해 MR 투시도 영상에서 X-ray 투시도 영상으로의 다중 모달리티 영상 변환을 가능하게 하기 위해.
• MR 투시도 영상에서 X-ray 투시도 영상을 합성하기 위한 다양한 딥러닝 생성자 아키텍처 및 손실 함수의 적합성을 평가하기 위해.
• 기존의 ℓ₁ 손실과 비교하여 퍼셉추얼 손실이 의료 영상 간의 이미지 변환 과정에서 미세한 해부학적 세부 정보를 더 잘 유지하는지 확인하기 위해.
• 저선량 Fluoroscopy에서의 노이즈 제거 및 슈퍼레졸루션 등의 후속 응용 분야에 합성된 X-ray 투시도 영상이 활용 가능한지 타당성을 평가하기 위해.

제안 방법

• U-Net, ResNet, 및 캐스케이드 리파인먼트 네트워크(CRN)로 구성된 세 가지 생성자 네트워크를 사용하여 입력된 MR 투시도 영상에서 해당하는 X-ray 투시도 영상으로 매핑하도록 학습하였다.
• 동일한 해부학적 시야 및 환자 자세에서의 쌍체 MR 및 X-ray 투시도 데이터를 사용하여 모델을 학습하였다.
• 두 가지 손실 함수를 평가하였으며, 픽셀 단위 재구성에 사용된 ℓ₁ 손실과 사전 학습된 VGG 네트워크의 특징 활성화를 기반으로 한 퍼셉추얼 손실을 사용하여 시각적 품질을 향상시켰다.
• U-Net 및 ResNet에서는 다운샘플링 및 업샘플링 과정에서 공간 정보를 유지하기 위해 스킵 커넥션을 사용하였다.
• CRN는 순방향 아키텍처를 사용하며 다중 척도의 리파인먼트를 수행하여 적대적 학습을 회피함으로써 안정적인 추론을 가능하게 하였다.
• 평가에는 평균 제곱 오차(MSE), 피크 신호 대 노이즈 비율(PSNR), 구조적 유사도(SSIM), ℓ₁ 오차 등의 표준 지표를 사용하였다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 Fluoroscopic 환경에서 MR 투시도 영상에서 X-ray 투시도 영상으로의 합성을 효과적으로 수행할 수 있는가?
• RQ2 U-Net, ResNet, CRN 등의 다양한 생성자 아키텍처는 MR에서 X-ray 투시도 영상 합성에서 성능 면에서 어떻게 비교되는가?
• RQ3 이 작업에서 ℓ₁ 손실과 비교해 퍼셉추얼 손실이 고주파 해부학적 세부 정보를 더 잘 유지하는가?
• RQ4 합성된 X-ray 투시도 영상은 저선량 Fluoroscopy에서의 노이즈 제거 또는 슈퍼레졸루션 등의 후속 응용에 활용 가능한가?

주요 결과

• 퍼셉추얼 손실은 ℓ₁ 손실보다 고주파 세부 정보를 훨씬 더 잘 유지하였으며, 천골 주변의 미세한 선과 같은 특징을 뚜렷하게 유지하였다.
• 캐스케이드 리파인먼트 네트워크(CRN)와 퍼셉추얼 손실을 조합한 모델이 가장 우수한 전체 성능을 보였으며, MSE가 0.013으로 이 지표에서 ℓ₁ 손실을 뛰어넘었다.
• ResNet에 ℓ₁ 손실을 적용한 경우 픽셀 단위 오차가 가장 낮았고(0.058의 편차, 2.4%), PSNR도 가장 높았지만, 퍼셉추얼 손실 대비 더 흐릿한 영상을 생성하였다.
• 퍼셉추얼 손실은 픽셀 단위 오차를 최적화하지 않았음에도 불구하고 CRN에서 모든 오차 지표에서 경쟁력 있거나 더 우수한 성능을 보였으며, 이는 구조적 정합성을 유지하는 데 효과적임을 시사한다.
• U-Net과 ResNet은 ℓ₁ 손실에서 양호한 성능을 보였지만, 퍼셉추얼 손실을 사용할 경우 CRN가 그들을 능가하는 성능을 보였으며, 이는 손실 함수 선택의 중요성을 강조한다.
• 결과적으로, 퍼셉추얼 손실은 해상도가 높은 공간 해상도가 요구되는 Fluoroscopic 응용 분야에서 특히 효과적이며, 영상의 선명도 향상과 세부 정보 유지에 기여한다.