[논문 리뷰] ImplicitVol: Sensorless 3D Ultrasound Reconstruction with Deep Implicit Representation

Pak-Hei Yeung, Linde S. Hesse외 5명|arXiv (Cornell University)|2021. 09. 24.

Medical Image Segmentation Techniques인용 수 12

한 줄 요약

ImplicitVol은 3D 좌표를 강도 값으로 매핑하는 연속 함수로 3D 볼륨을 암묵적으로 모델링하는 센서리스 3D 초음파 재구성 방법을 제안한다. 이 프레임워크는 2D 스캔에서 3D 위치 추정치를 동시에 개선하고 고해상도 3D 볼륨을 재구성하며, 새로운 횡단면 시각화에서 기준선 대비 NCC와 SSIM 모두 30% 이상 향상시켰다.

ABSTRACT

The objective of this work is to achieve sensorless reconstruction of a 3D volume from a set of 2D freehand ultrasound images with deep implicit representation. In contrast to the conventional way that represents a 3D volume as a discrete voxel grid, we do so by parameterizing it as the zero level-set of a continuous function, i.e. implicitly representing the 3D volume as a mapping from the spatial coordinates to the corresponding intensity values. Our proposed model, termed as ImplicitVol, takes a set of 2D scans and their estimated locations in 3D as input, jointly refining the estimated 3D locations and learning a full reconstruction of the 3D volume. When testing on real 2D ultrasound images, novel cross-sectional views that are sampled from ImplicitVol show significantly better visual quality than those sampled from existing reconstruction approaches, outperforming them by over 30% (NCC and SSIM), between the output and ground-truth on the 3D volume testing data. The code will be made publicly available.

연구 동기 및 목표

• 외부 추적 센서에 의존하지 않고 흩어진 자유형 2D 스캔에서 고품질 3D 초음파 볼륨을 재구성하는 데 도전하는 것.
• 이산 그리드 보간에 의한 오차 누적과 해상도 저하 등의 문제를 겪는 전통적인 볼록 기반 재구성 방법의 한계를 극복하는 것.
• 3D 볼륨을 연속 함수로 암묵적으로 표현하는 딥 네ural 네트워크를 사용하여 2D 스캔 정렬 및 3D 볼륨 재구성의 공동 최적화를 수행하는 것.
• 특히 부족한 샘플링과 운동 왜곡이 있는 영역에서 기존 방법에 비해 시각적 품질과 구조 유사도를 향상시키는 것.
• 2D 프로브만 이용 가능한 저자원 환경에서 3D 진단 정보를 활용할 수 있도록 실용적인 3D 초음파 평가를 가능하게 하는 것.

제안 방법

• 3D 볼륨은 연속 함수 $ F_{\Theta}(\mathbf{x}) $ 의 영점 집합으로 암묵적으로 표현되며, $ \mathbf{x} = (x, y, z) $ 는 3D 공간 좌표이고 $ F_{\Theta} $ 는 매개변수 $ \Theta $ 로 정의된 딥 네ural 네트워크이다.
• 모델은 2D 초음파 스캔 집합과 그들의 추정된 3D 위치를 입력으로 받아, 훈련 중에 3D 위치 추정치와 암묵적 볼륨 표현을 동시에 최적화한다.
• 렌더링된 2D 슬라이스를 실제 2D 스캔와 비교하는 미분 가능한 렌더링 손실을 사용하여 엔드 투 엔드 최적화가 가능하도록 훈련된다.
• 암묵적 표현의 연속성 특성을 활용하여 볼록 그리드 이산화 없이 고해상도 및 해상도에 관계없이 재구성할 수 있다.
• 프레임워크는 완전히 엔드 투 엔드, 센서리스 방식으로 훈련 및 테스트되며, 추론 중에 실제 3D 스캔 위치가 필요로 하지 않는다.
• 미분 가능한 볼륨 렌더링 모듈은 입력 2D 스캔의 추정된 3D 위치에서 암묵적 3D 볼륨으로부터 2D 투영을 샘플링하여 감독을 제공한다.

실험 결과

연구 질문

• RQ1 외부 추적 센서가 없이도 딥 암묵적 표현이 3D 볼륨 재구성과 2D에서 3D 스캔 정렬을 동시에 향상시킬 수 있는가?
• RQ2 3D 초음파 재구성에서 암묵적 표현은 명시적 볼록 기반 방법에 비해 어떤가? 특히 시각적 품질과 구조 유사도 측면에서.
• RQ3 정렬과 재구성의 공동 최적화가 자유형 2D 초음파 스캔에서 오차 누적을 줄이고 강건성을 향상시키는 데 얼마나 기여하는가?
• RQ4 암묵적 모델은 운동 왜곡과 비균일한 샘플링 패턴을 가진 원본 자유형 2D 스캔에 일반화될 수 있는가?
• RQ5 훈련 스캔 수를 늘릴수록 암묵적 재구성 프레임워크의 성능이 향상되는가?

주요 결과

• ImplicitVol은 볼륨 샘플링된 2D 초음파 데이터에서 기준선 대비 새로운 횡단면 시각화에서 NCC와 SSIM 모두 30% 이상 향상시켰다.
• 3D 위치 추정과 볼륨 재구성의 공동 최적화로 성능 향상이 두드러졌으며, 128 해상도에서 NCC는 정렬 없이 0.591에서 정렬 후 0.719로 상승했다.
• 256개의 훈련 스캔을 사용했을 때, ImplicitVol은 NCC 0.747과 SSIM 0.569를 기록하여 볼륨 샘플링 데이터에서 모든 기준선을 초월했다.
• 원본 자유형 2D 초음파 스캔에서, ImplicitVol은 운동 왜곡 영역(빨간 상자)에서 시각적 품질이 뛰어나고, 부족한 샘플링 영역(노란 상자)을 더 잘 처리했다.
• 모델은 초기 3D 위치 추정이 정확하지 않아도 강건했으며, 추가 감독 없이도 공동 정렬 프로세스가 정렬 정확도를 크게 향상시켰다.
• 해상도를 128에서 256로 높이고 공동 최적화를 활성화했을 때, 정렬 오차가 8.34 ± 5.32 mm에서 6.32 ± 4.61 mm로 25% 감소했다.