[논문 리뷰] Autonomous Robotic Screening of Tubular Structures based only on Real-Time Ultrasound Imaging Feedback

Zhongliang Jiang, Zhenyu Li외 7명|arXiv (Cornell University)|2020. 10. 30.

Coronary Interventions and Diagnostics참고 문헌 32인용 수 6

한 줄 요약

이 논문은 실시간 초음파 영상 피드백만을 사용하여 관형 구조물을 자율적으로 스크리닝하는 엔드 투 엔드 로봇 초음파 시스템을 제시한다. U-Net 기반 혈관 분할과 제약 조건이 있는 최적화 프레임워크를 결합하여 중심선과 반경을 추정함으로써, 시스템은 혈관의 법선 방향으로 프로브를 자동으로 정렬하고 최적의 영상 촬영을 유지하며, 필름에서 중심 정렬 및 반경 추정에 하위 밀리미터 정확도를 달성한다.

ABSTRACT

Ultrasound (US) imaging is widely employed for diagnosis and staging of peripheral vascular diseases (PVD), mainly due to its high availability and the fact it does not emit radiation. However, high inter-operator variability and a lack of repeatability of US image acquisition hinder the implementation of extensive screening programs. To address this challenge, we propose an end-to-end workflow for automatic robotic US screening of tubular structures using only the real-time US imaging feedback. We first train a U-Net for real-time segmentation of the vascular structure from cross-sectional US images. Then, we represent the detected vascular structure as a 3D point cloud and use it to estimate the longitudinal axis of the target tubular structure and its mean radius by solving a constrained non-linear optimization problem. Iterating the previous processes, the US probe is automatically aligned to the orientation normal to the target tubular tissue and adjusted online to center the tracked tissue based on the spatial calibration. The real-time segmentation result is evaluated both on a phantom and in-vivo on brachial arteries of volunteers. In addition, the whole process is validated both in simulation and physical phantoms. The mean absolute radius error and orientation error ($\pm$ SD) in the simulation are $1.16\pm0.1~mm$ and $2.7\pm3.3^{\circ}$, respectively. On a gel phantom, these errors are $1.95\pm2.02~mm$ and $3.3\pm2.4^{\circ}$. This shows that the method is able to automatically screen tubular tissues with an optimal probe orientation (i.e. normal to the vessel) and at the same to accurately estimate the mean radius, both in real-time.

연구 동기 및 목표

• 손으로 촬영하는 초음파의 높은 운영자 간 변동성을 해결하기 위해 관형 구조물의 완전 자율적 로봇 스크리닝을 가능하게 한다.
• 사전 수술 영상이나 외부 센서에 의존하지 않도록 하여 실시간 초음파 피드백만을 사용한다.
• 스윕 중에 혈관의 법선 방향으로 실시간으로 안정적인 프로브 정렬을 달성한다.
• 이deal한 법선 방향에서 벗어난 경우에도 정확한 혈관 반경 추정을 가능하게 한다.
• 분할 오류에 강건하고 임상 현장에 구현 가능한 실시간 운영이 가능한 시스템을 개발한다.

제안 방법

• 실시간 2차원 초음파 영상에서 혈관의 횡단면을 분할하기 위해 U-Net 딥러닝 모델을 훈련시킨다.
• 분할된 혈관 윤곽을 3차원 점군으로 변환하여 제약 조건이 있는 비선형 최적화를 통해 혈관 중심선과 국소 반경을 추정한다.
• 이미지 피드백을 사용하여 시스템은 반복적으로 프로브 자세를 조정하여 목표 혈관을 초음파 영상의 중심에 유지하고 법선 방향으로 정렬한다.
• 프레임 간 대응 전략을 통해 이웃 프레임 간 공간적 거리를 최소화함으로써 가장 타당한 혈관 검출을 선택함으로써, 임의의 양성 결과로 인한 추적 오차를 감소시킨다.
• 전체 파이프라인은 실시간으로 작동하며, 평균 프레임당 처리 시간이 32ms이며, 스위프 중 동적 적응이 가능하다.
• 압력 제어를 사용하여 조직과의 접촉이 안전하고 유연하게 이루어지며, 소규모 위치 오차도 허용한다.

실험 결과

연구 질문

• RQ1 실시간 초음파 피드백만을 사용하여 로봇 초음파 시스템이 자율적으로 최적의 프로브 방향과 중심 정렬을 유지할 수 있는가?
• RQ2 프로브가 이상적인 법선 방향에서 벗어나도 정확한 혈관 반경 추정이 가능한가?
• RQ3 지속적인 스위프 중에 분할 오류가 발생할 경우 시스템은 어떻게 처리하고 안정적인 추적을 유지하는가?
• RQ4 모의 환경과 실제 필름에서 시스템의 실시간 성능과 정확도는 어떠한가?
• RQ5 이 방법은 사전 수술 데이터나 외부 센서에 최소한의 의존성을 가진 실생활 적용에 확장 가능한가?

주요 결과

• 젤 필름에서 시스템은 평균 절대 방향 오차 3.7° ± 1.6°, 중심 정렬 오차 0.2 mm ± 0.2 mm, 반경 오차 0.8 mm ± 0.4 mm를 달성했다.
• 모의 환경에서 시스템은 방향 오차 2.7° ± 3.3° 및 반경 오차 1.16 mm ± 0.1 mm를 기록했다.
• 전체 시스템은 실시간으로 작동하며, 평균 프레임당 처리 시간이 32 ms이며, U-Net 추론 시간은 단지 5 ms다.
• 16초 동안의 스위프 전반에 걸쳐 혈관 중심 정렬과 최적의 프로브 방향 유지가 안정적으로 유지되었으며, 8초 만에 안정적인 수렴이 이루어졌다.
• 공간적 근접도를 기반으로 한 프레임 간 대응 전략을 통해 분할 오류에 강건한 추적 성능을 확보했다.
• 사전 수술 영상나 외부 센서 없이도 반복 가능한 자율 초음파 스크리닝이 가능하며, 이는 완전 자동화된 혈관 스크리닝의 길을 열어준다.