[논문 리뷰] Scaling Ultrasound Volumetric Reconstruction via Mobile Augmented Reality

Kian Wei Ng, Yujia Gao외 8명|arXiv (Cornell University)|2026. 02. 17.

Digital Radiography and Breast Imaging인용 수 0

한 줄 요약

MARVUS는 2D 초음파를 모바일 AR과 통합하여 로 비용의 보정 팬텀과 에지 기반 분할을 사용해 3D 결절을 재구성하고 용적 정확도를 향상시키며 사용자 간 변이를 줄이고 무거운 하드웨어 없이도 가능하게 한다. AR 시각은 또한 사용자 신뢰와 사용성을 향상시킨다.

ABSTRACT

Accurate volumetric characterization of lesions is essential for oncologic diagnosis, risk stratification, and treatment planning. While imaging modalities such as Computed Tomography provide high-quality 3D data, 2D ultrasound (2D-US) remains the preferred first-line modality for breast and thyroid imaging due to cost, portability, and safety factors. However, volume estimates derived from 2D-US suffer from high inter-user variability even among experienced clinicians. Existing 3D ultrasound (3D-US) solutions use specialized probes or external tracking hardware, but such configurations increase costs and diminish portability, constraining widespread clinical use. To address these limitations, we present Mobile Augmented Reality Volumetric Ultrasound (MARVUS), a resource-efficient system designed to increase accessibility to accurate and reproducible volumetric assessment. MARVUS is interoperable with conventional ultrasound (US) systems, using a foundation model to enhance cross-specialty generalization while minimizing hardware requirements relative to current 3D-US solutions. In a user study involving experienced clinicians performing measurements on breast phantoms, MARVUS yielded a substantial improvement in volume estimation accuracy (mean difference: 0.469 cm3) with reduced inter-user variability (mean difference: 0.417 cm3). Additionally, we prove that augmented reality (AR) visualizations enhance objective performance metrics and clinician-reported usability. Collectively, our findings suggests that MARVUS can enhance US-based cancer screening, diagnostic workflows, and treatment planning in a scalable, cost-conscious, and resource-efficient manner. Usage video demonstration available (https://youtu.be/m4llYcZpqmM).

연구 동기 및 목표

• 다양한 임상 분야에서 3D 초음파 용적 재구성의 비용을 낮추고 확장성을 높인다.
• 표준 2D-US 시스템과 최소한의 추가 하드웨어로 작동하는 모바일 AR 워크플로우를 개발한다.
• 결절 측정의 용적 정확도를 향상하고 시술자 간 변이를 줄인다.
• US 기반 워크플로우에서 임상의 신뢰와 사용성을 향상시키는 AR 시각화를 제공한다.

제안 방법

• 단일 프레임 공간 보정을 가능하게 하는 신규 단일 부품 US 팬텀으로 보정.
• 프로브, 팬텀, 카메라에 있는 ArUco 마커를 사용한 외부 보정으로 T_US_Probe 및 관련 변환을 도출.
• 자유손 2D-US 스윕에서 다중 카메라 포즈 추적과 고정 참조 프레임을 통해 질감이 있는 3D 포인트 구름으로 결절 재구성.
• EdgeTAM을 사용한 반자동 결절 분할로 다중 프레임 전파를 통해 밀집 포인트 구름을 얻는다.
• 용적 추정 및 AR 시각화를 위한 메시를 생성하기 위한 보셀화 및 marching cubes.
• 재구성된 메시를 실시간 US 데이터와 겹치고 교차 이미지-메시를 표시하여 재구성 품질을 평가하는 AR 검증.

실험 결과

연구 질문

• RQ1 MARVUS가 표준 수동 타원 계산과 비교하여 초음파 기반 용적 측정의 정확도를 향상시키는가?
• RQ2 AR 시각화가 3D-US 결절 부피 추정에서 시술자 간 변동성을 감소시킬 수 있는가?
• RQ3 제안된 보정 및 재구성 워크플로가 일반적인 초음파 깊이와 이득에서 견고한가?
• RQ4 AR 시각화를 통합하는 것이 모바일 3D-US 시스템에 대한 사용자의 신뢰와 인지된 사용성을 향상시키는가?

주요 결과

• MARVUS는 전문가만으로 수행된 테스트에서 대조 방법에 비해 용적 추정 정확도를 크게 향상시켰다(베이스라인과의 비교를 위한 구체적 수치가 보고됨).
• AR 보강 워크플로우는 Recon 단독에 비해 용적 오차와 시술자 간 변동성을 더 줄인다.
• 제안된 단일 프레임, 마커 기반 팬텀의 보정 재현성은 여러 와이어 기반 방법과 경쟁적이거나 더 낫고, 특수 하드웨어를 피한다.
• 참가자들은 AR 시각화를 갖춘 MARVUS를 사용할 때 더 높은 신뢰를 보고했고, AR으로 시스템 사용성은 다소 개선되었다고 나타냈다.