[논문 리뷰] Robotic Ultrasound Imaging: State-of-the-Art and Future Perspectives

Zhongliang Jiang, Septimiu E. Salcudeanb외 1명|arXiv (Cornell University)|2023. 07. 08.

Radiomics and Machine Learning in Medical ImagingMedicine인용 수 3

한 줄 요약

이 논문은 로봇 초음파 영상 시스템(RUSS)을 검토하며, 제어 아키텍처 기반으로 원격 제어형과 자율형으로 분류하고, 기계 학습 및 AI가 운동 및 변형 인식, 환자 맞춤형 영상 획득을 가능하게 한다는 점을 강조한다. 주요 기여는 '초음파 영상의 언어 복원' 개념으로, 전문 초음파의사의 의사결정을 AI로 모델링함으로써 자율 스캔 및 의료 교육을 발전시킨다는 점이다.

ABSTRACT

Ultrasound (US) is one of the most widely used modalities for clinical intervention and diagnosis due to the merits of providing non-invasive, radiation-free, and real-time images. However, free-hand US examinations are highly operator-dependent. Robotic US System (RUSS) aims at overcoming this shortcoming by offering reproducibility, while also aiming at improving dexterity, and intelligent anatomy and disease-aware imaging. In addition to enhancing diagnostic outcomes, RUSS also holds the potential to provide medical interventions for populations suffering from the shortage of experienced sonographers. In this paper, we categorize RUSS as teleoperated or autonomous. Regarding teleoperated RUSS, we summarize their technical developments, and clinical evaluations, respectively. This survey then focuses on the review of recent work on autonomous robotic US imaging. We demonstrate that machine learning and artificial intelligence present the key techniques, which enable intelligent patient and process-specific, motion and deformation-aware robotic image acquisition. We also show that the research on artificial intelligence for autonomous RUSS has directed the research community toward understanding and modeling expert sonographers' semantic reasoning and action. Here, we call this process, the recovery of the "language of sonography". This side result of research on autonomous robotic US acquisitions could be considered as valuable and essential as the progress made in the robotic US examination itself. This article will provide both engineers and clinicians with a comprehensive understanding of RUSS by surveying underlying techniques.

연구 동기 및 목표

• 연구자 및 임상의를 대상으로 로봇 초음파 영상 시스템(RUSS)에 대한 종합적인 기술적 및 임상적 조사를 제공하기 위해.
• 원격 제어형에서 자율형 RUSS로의 진화를 분석하고, 기계 학습 및 AI가 지능적이고 해부학적 인식이 가능한 스캔을 가능하게 하는 역할을 강조하기 위해.
• 신뢰할 수 있고 임상 현장에 적용 가능한 로봇 초음파의사 개발을 위한 주요 과제와 향후 방향을 규명하기 위해.
• 연구 공동체의 노력이 전문 초음파의사의 의미론적 추론과 행동을 AI로 이해하는 데 초점을 맞추는 것—즉, '초음파 영상의 언어 복원'을 틀로 삼기 위해.

제안 방법

• 제어 아키텍처 기반으로 RUSS를 원격 제어형과 자율형으로 분류한다.
• 실시간으로 안전하고 정확한 스캔을 가능하게 하는 유연한 힘 제어, 경로 계획, 시각 기반 제어, 표면 정렬 등의 유효 기술을 검토한다.
• 이미지 세분화, 다중 모odal 센서링, 데이터 융합과 같은 고급 기법을 통합하여 스캔 중 조직의 운동 및 변형 문제를 해결한다.
• 강화 학습 및 시연 학습을 포함한 기계 학습 기법을 활용해 전문 초음파의사의 행동과 의사결정을 모델링한다.
• 모의 환경 및 필름 기반 검증을 통해 제어 조건 하에서 자율 초음파 획득을 시험한다.
• 로봇의 행동를 설명할 수 있는 AI 프레임워크를 제안하여 임상의의 신뢰를 높이고 자율 시스템의 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 고급 기계 학습을 통해 전문 초음파의사의 행동을 관찰함으로써 '초음파 영상의 언어 복원'을 이룰 수 있는가?
• RQ2 RUSS 시스템은 초음파 영상의 물리적 원리와 동적인 환자 생리학과의 상호작용을 이해할 수 있는가?
• RQ3 RUSS는 실시간으로 B모드, 3D, 4D 영상 획득을 최적화하고 높은 재현성을 확보할 수 있는가?
• RQ4 고급 센서링 및 지능형 제어 기술이 로봇 스캔 절차의 안전성과 재현성을 보장할 수 있는가?
• RQ5 다중 모달 영상 및 사전 학습 기반 기술이 RUSS가 개인의 해부학적 구조와 생리학적 특성에 적응하도록 가능하게 할 수 있는가?

주요 결과

• RUSS 분야의 동료 심사 논문 수는 2001년 1,020편에서 2022년 15,500편으로 증가하여 연구 관심의 기하급수적 증가를 반영한다.
• 자율 RUSS 시스템은 기계 학습, 특히 전문 초음파의사의 의미론적 추론과 행동 시퀀스 모델링 분야에서 급속도로 발전하고 있다.
• 현재 자율 시스템은 여전히 실시간 임상 조건에서의 인간 환자 성능 평가에 대해 필름 또는 시뮬레이션에 크게 의존하고 있으며, 실제 임상 환경에서의 성능는 제한되어 있다.
• '초음파 영상의 언어 복원' 개념은 중요한 부가적 결과로 부상하고 있으며, 이는 로봇 및 인간의 초음파 시스템의 교육, 평가, 설계를 향상시킨다.
• 진전이 있음에도 불구하고, 현재로선 완전히 자율적인 RUSS 시스템은 실제 임상 환경에서 전문 초음파의사 수준의 성능을 달성하지 못하고 있다.
• 설명 가능한 AI와 사용자 중심 설계는 동적인 임상 환경에서 로봇 시스템의 안전한 통합과 임상의의 수용을 위해 필수적임이 규명되었다.