[논문 리뷰] Neural Radiance Fields in Medical Imaging: A Survey

Xin Wang, Chen, Yineng외 4명|arXiv (Cornell University)|2024. 02. 26.

Medical Imaging Techniques and Applications인용 수 8

한 줄 요약

이 보고서는 의학 영상에서 신경방사 필드(NeRFs)를 적용하는 것을 분석하고, 네 가지 핵심 과제를 개략하며, 장기별 방법, 데이터세트 및 메트릭을 검토하고, 향후 연구 방향을 제시합니다.

ABSTRACT

Neural Radiance Fields (NeRF), as a pioneering technique in computer vision, offer great potential to revolutionize medical imaging by synthesizing three-dimensional representations from the projected two-dimensional image data. However, they face unique challenges when applied to medical applications. This paper presents a comprehensive examination of applications of NeRFs in medical imaging, highlighting four imminent challenges, including fundamental imaging principles, inner structure requirement, object boundary definition, and color density significance. We discuss current methods on different organs and discuss related limitations. We also review several datasets and evaluation metrics and propose several promising directions for future research.

연구 동기 및 목표

• 의학 영상에서 NeRF를 사용하는 동기와 관련 도전 과제를 식별한다.
• 장기에 따라 NeRF 방법론을 분류하고 그 한계와 데이터 요구사항을 논의한다.
• 의학 NeRF 연구에서 사용되는 공개 데이터세트와 평가 지표를 검토한다.
• 세부 묘사, 경계, 색-밀도 해석 및 임상 통합을 개선하기 위한 향후 방향을 개략한다.

제안 방법

• 구조적 과제를 강조하기 위해 무릎, 뇌, 심혈관 계통, 두개골, 치아, 복부, 흉부 등으로 장기를 분류한다.
• 특정 의학 NeRF 방법(예: MedNeRF, UMedNeRF, ACNeRF, mNeRF, SNAF, NAF) 및 그 학습/최적화 전략을 논의한다.
• DRR(디지털 재구성 방사선사진)을 사용한 데이터 생성과 쌍 데이터 시뮬레이션에서 DRR의 역할을 조사한다.
• 의학 NeRF에서 사용되는 공개 데이터세트(MedNeRF, NAF, PerX2CT, DIF-Net) 및 평가 지표(PSNR, SSIM, FID, KID)를 검토한다.
• 데이터 품질, 해상도, 경계 모호성, 모달리티 일반화 및 해석 가능성과 같은 한계를 강조한다.
• 향후 방향으로 상세 해상도, 경계 구분, 계산 효율성, 개인화 및 고급 기법과의 통합을 제안한다.

실험 결과

연구 질문

• RQ1 의료 데이터에 NeRF를 적용할 때 주요 영상 원리 및 경계 정의의 도전은 무엇인가?
• RQ2 NeRF 기반 방법은 서로 다른 해부 기관과 영상 모달리티에서 어떻게 수행되는가?
• RQ3 의료 NeRF를 평가하는 데 사용되는 공개 데이터세트와 평가 지표는 무엇이며, 그것들이 어떤 한계를 드러내는가?
• RQ4 향후 방향과 통합(예: DRR, RL, 기초 모델)이 임상 환경에서 NeRF를 어떻게 발전시킬 수 있는가?

주요 결과

• NeRF는 2D 의학 이미지로부터 상세한 3D 표현을 제공하고 방사선 노출과 촬영 시간을 줄일 수 있다.
• 장기별 NeRF 방법은 희소성, 중복, 혈관·뼈 및 연조직의 가시성 같은 고유한 도전에 직면한다.
• 여러 특화 모델(MedNeRF, UMedNeRF, ACNeRF, mNeRF, SNAF, NAF)이 정합성, 불확실성 및 희소 뷰 재구성에 대응하지만 하이퍼파라미터 균형은 여전히 문제다.
• DRR 기반 합성 X선은 추가 환자 노출 없이 쌍 데이터 훈련을 가능하게 하여 NeRF 개발을 지원한다.
• 의료 NeRF를 위한 공개 데이터세트는 증가하고 있으며(예: MedNeRF, NAF, PerX2CT, DIF-Net), PSNR, SSIM, FID, KID와 같은 지표가 평가에 사용된다.
• 본 설문은 향후 방향으로 더 나은 세부 묘사, 경계 구분, 색-밀도 해석, 계산 효율성 및 3D 가우시안 스플래팅, 강화 학습, 기초 모델과의 통합 가능성을 포함한다.