[논문 리뷰] Going Off-Grid: Continuous Implicit Neural Representations for 3D Vascular Modeling

Dieuwertje Alblas, Christoph Brüne외 2명|arXiv (Cornell University)|2022. 07. 29.

Medical Image Segmentation Techniques인용 수 5

한 줄 요약

이 논문은 3차원 혈관 구조를 부호 거리 함수(SDF)의 영점 등고선으로 모델링하기 위해 미분 가능 은닉 신경 표현(INR)을 사용하는 방법을 제안한다. 이를 통해 희소 점군에서 연속적이고 경량이며 강건한 표면 재구성 가능하다. 단일 네트워크를 통한 중첩된 혈관 벽의 피팅과 개별 동맥의 부드러운 블렌딩을 통해 복잡한 혈관 해부학적 구조(예: Abdominal aortic aneurysm, aortofemoral tree)의 정확하고 밀도 높은 모델을 생성하며, 표면 점이 200개 정도로도 강건한 성능을 발휘한다.

ABSTRACT

Personalised 3D vascular models are valuable for diagnosis, prognosis and treatment planning in patients with cardiovascular disease. Traditionally, such models have been constructed with explicit representations such as meshes and voxel masks, or implicit representations such as radial basis functions or atomic (tubular) shapes. Here, we propose to represent surfaces by the zero level set of their signed distance function (SDF) in a differentiable implicit neural representation (INR). This allows us to model complex vascular structures with a representation that is implicit, continuous, light-weight, and easy to integrate with deep learning algorithms. We here demonstrate the potential of this approach with three practical examples. First, we obtain an accurate and watertight surface for an abdominal aortic aneurysm (AAA) from CT images and show robust fitting from as little as 200 points on the surface. Second, we simultaneously fit nested vessel walls in a single INR without intersections. Third, we show how 3D models of individual arteries can be smoothly blended into a single watertight surface. Our results show that INRs are a flexible representation with potential for minimally interactive annotation and manipulation of complex vascular structures.

연구 동기 및 목표

• 딥 러닝과 잘 통합되는 연속적이고, 미분 가능하며, 가벼운 3차원 혈관 모델 표현 방식을 개발하기 위해.
• 밀도 높은 수동 애너테이션에 의존하지 않고도 희소한 점군으로부터 강건하고 정확한 표면 재구성 가능하게 하기 위해.
• 단일 INR 내에서 여러 중첩된 혈관 표면(예: 혈관 내강과 외벽)을 동시에 표현하여 해부학적 일관성을 유지하기 위해.
• CFD 등의 후속 응용을 위해 별개의 동맥 기반 구조를 하나의 연결된 혈관 수목으로 원활하고 밀도 높은 블렌딩을 실현하기 위해.
• 메esh, 볼륨 등 명시적 표현 방식과 딥 러닝 간 격차를 메우기 위해 해상도에 영향을 받지 않고, 미분 가능한 모델링을 가능하게 하기 위해.

제안 방법

• 혈관 구조의 표면은 부호 거리 함수(SDF)의 영점 등고선으로 표현되며, 이 SDF는 다층 퍼셉트론(MLP)에 의해 매개변수화되어 은닉 신경 표현(INR)을 형성한다.
• SDF는 샘플링된 점들에서 예측된 SDF 값과 진짜 SDF 값 간의 차이를 최소화하는 손실 함수를 사용하여 훈련되며, Eikonal 제약 조건(||∇SDF|| = 1)을 유지하기 위한 정규화가 함께 적용된다.
• 다중 구조 모델링을 위해 개별 혈관의 별도 점군에 대해 여러 INR을 훈련시키고, SDF 출력을 매개변수 k=0.1를 가진 부드러운 블렌딩 함수를 사용하여 블렌딩하여 연속성과 교차 방지를 보장한다.
• 중첩된 혈관 벽(예: 내강과 외벽)은 공유 네트워크를 사용해 국소 오프셋이 있는 SDF 값을 예측함으로써 단일 INR 내에서 표현되며, 가중치 공유를 통해 해부학적 일관성을 증진시킨다.
• INR는 50,000 에포크 동안 Adam 옵timizer를 사용해 최적화되며, 입력 좌표는 각 혈관 하위도메인의 도메인으로 정규화된다.
• 최종 모델은 전체 혈관 도메인에 대해 카르테시안 격자를 생성하고, 각 격자 점을 해당 INR을 통해 쿼리하고, SDF 값을 재스케일링하며, 이를 하나의 연속적인 표면으로 블렌딩하여 평가된다.

실험 결과

연구 질문

• RQ1 INR는 단지 200개의 희소 표면 점들로부터 정확하고 밀도 높은 3차원 혈관 표면을 재구성할 수 있는가?
• RQ2 단일 INR이 내강과 외벽과 같은 여러 중첩된 혈관 표면을 동시에 표현함으로써 해부학적 일관성이 향상되는가?
• RQ3 INR 기반 SDF 블렌딩을 통해 복수의 동맥 기반 구조를 원활하고 교차 없는 방식으로 블렌딩할 수 있는가?
• RQ4 전통적인 명시적 표현 방식(메쉬, 볼륨)과 비교했을 때, INR 기반 표현 방식은 연속성, 해상도 독립성, 딥 러닝 통합 측면에서 어떻게 다른가?
• RQ5 INR은 딥 러닝 기반 세그멘테이션과 CFD 등의 후속 응용 간에 민첩하고, 미분 가능한 인터페이스로 기능할 수 있는가?

주요 결과

• INR 기반 방법은 단지 200개의 애너테이션된 표면 점들로부터 복잡한 복강동맥aneurysm 표면을 강건하고 정확하게 재구성하여, 밀도 높고 매끄러운 모델을 생성했다.
• 단일 INR 내에서 내강과 외벽을 동시에 피팅함으로써 별도의 모델링 대비 해부학적 일관성 부족과 교차 가능성 감소를 달성했다.
• 대동맥, 대퇴동맥, 장막동맥, 신동맥, 간동맥 등 9개의 별개 동맥 기반 구조를 서로 교차 없이 표면 침입 없이 부드럽게 블렌딩하여 CFD용 준비된 기하학적 구조를 생성했다.
• INR 표현 방식은 해상도 독립성을 보였으며, 어떤 해상에서도 연속성과 품질 손실 없이 평가 가능했다.
• 중첩된 구조물에 대해 공유 가중치를 사용함으로써 학습 효율성과 일관성이 향상되었고, SDF 값은 국소 오프셋의 차이 외에는 거의 동일했다.
• 이 방법은 딥 러닝 파이프라인과 원활하게 통합되며, 빠른 INR 피팅과 불확실성 추정 기능을 통해 최소한의 사용자 입력으로도 상호작용 가능한 애너테이션을 가능하게 했다.