[논문 리뷰] Ultra-NeRF: Neural Radiance Fields for Ultrasound Imaging

Magdalena Wysocki, Mohammad Farid Azampour외 4명|arXiv (Cornell University)|2023. 01. 25.

Medical Image Segmentation Techniques인용 수 16

한 줄 요약

Ultra-NeRF는 물리 정보를 반영한 암시적 신경 표현을 도입하여 초음파 조직 특성을 모델링하고, 다수의 2D 스윕으로부터 광선 추적 기반 렌더링을 통해 시야 의존적인 B-mode 이미지를 렌더링한다.

ABSTRACT

We present a physics-enhanced implicit neural representation (INR) for ultrasound (US) imaging that learns tissue properties from overlapping US sweeps. Our proposed method leverages a ray-tracing-based neural rendering for novel view US synthesis. Recent publications demonstrated that INR models could encode a representation of a three-dimensional scene from a set of two-dimensional US frames. However, these models fail to consider the view-dependent changes in appearance and geometry intrinsic to US imaging. In our work, we discuss direction-dependent changes in the scene and show that a physics-inspired rendering improves the fidelity of US image synthesis. In particular, we demonstrate experimentally that our proposed method generates geometrically accurate B-mode images for regions with ambiguous representation owing to view-dependent differences of the US images. We conduct our experiments using simulated B-mode US sweeps of the liver and acquired US sweeps of a spine phantom tracked with a robotic arm. The experiments corroborate that our method generates US frames that enable consistent volume compounding from previously unseen views. To the best of our knowledge, the presented work is the first to address view-dependent US image synthesis using INR.

연구 동기 및 목표

• 여러 2D US 스윕으로부터 기하를 학습하여 3D 초음파 시각화를 촉진한다.
• INR에 물리 기반 렌더링을 통합하여 초음파의 시야 의존적 외관과 기하를 다룬다.
• 물리적으로 타당한 신규 시점의 B-mode 합성 및 부피 합성을 가능하게 한다.

제안 방법

• 3D 좌표를 조직 매개변수(감쇠, 반사율, 경계 확률, 산란 밀도, 산란 강도)에 매핑하는 MLP 기반의 암시적 표현을 사용한다.
• US 전파 및 회절의 물리 법칙을 강제하는 광선 추적 기반의 초음파 렌더링 모델을 도입한다.
• 구조적 충실도와 보셀 단위 정확성을 보장하기 위해 SSIM과 L2를 결합한 손실로 학습한다.
• 고주파 조직 변화를 포착하기 위해 위치 인코딩을 적용한다.
• 합성 및 팬텀 데이터에서 렌더링 활성 INR과 비렌더링 INR 및 명시적 3D 부피 방법을 비교한다.

실험 결과

연구 질문

• RQ1 물리 정보를 반영한 INR이 보지 못한 시점에서의 시야 의존적 초음파 외관을 정확히 모델할 수 있는가?
• RQ2 NeRF 스타일 렌더링에 초음파 물리를 통합하는 것이 신규 시점의 B-mode 합성 및 부피 일관성을 향상시키는가?
• RQ3 데이터 세트 전반에 걸쳐 렌더링이 실제 초음파 프레임과의 정량적 유사도(SSIM)에 미치는 영향은 무엇인가?
• RQ4 Ultra-NeRF가 조직 간 감쇠, 산란, 경계 등의 렌더링 매개변수를 얼마나 잘 분해하는가?
• RQ5 합성 및 팬텀 데이터셋이 암시적 표현으로 시야 의존적 초음파 합성을 평가하는 데 효과적인가?

주요 결과

• 렌더링은 팬텀 데이터에서 기울어진 뷰와 수직 뷰에서 SSIM을 개선하거나 동등하게 유지한다(중앙값 SSIM: 0.54 및 0.58).
• 합성 데이터에서 렌더링 기반 INR은 기울어진 뷰와 수직 뷰에 대해 비렌더링 INR과 비교하여 유사하거나 약간 낮은 SSIM을 달성한다(중앙값: 0.47–0.49 with rendering vs 0.50–0.54 without rendering).
• Ultra-NeRF은 보지 않은 시점에서도 일관된 부피 합성을 가능하게 하여 시야 의존적 표상에 대한 물리 기반 렌더링의 중요성을 강조한다.
• 본 방법은 시야 의존적 차이로 인해 표현이 애매한 영역에서 기하학적으로 정확한 B-mode 합성을 보여준다.
• 조직 특성은 매개변수 분해를 통해 확인되며, 예를 들어 뼈 영역에서 더 높은 감쇠 및 산란이 나타나 현실적인 그림자 효과를 가능하게 한다.