[논문 리뷰] Image-Guided Navigation of a Robotic Ultrasound Probe for Autonomous Spinal Sonography Using a Shadow-aware Dual-Agent Framework

Keyu Li, Yangxin Xu외 4명|arXiv (Cornell University)|2021. 11. 03.

Soft Robotics and Applications참고 문헌 43인용 수 45

한 줄 요약

이 논문은 강화학습(RL)과 딥러닝(DL)을 융합한 영향을 고려한 이중 에이gent 프레임워크를 제안하여, 표준 척추 초음파 영상 촬영을 위한 로봇 초음파 프로브의 자율 주행을 가능하게 한다. RL 에이전트는 실시간 초음파 영상 기반으로 6-자유도 프로브 운동을 계획하고, DL 에이전트는 표준 영상 영역을 탐지한다. 새로운 영상 특화 음영 보상이 탐지된 주행을 이끌며, 피험자 내 설정에서 5.18 mm/5.25°의 정확도를 달성하고, 피험자 간 설정에서는 12.87 mm/17.49°의 정확도를 기록한다.

ABSTRACT

Ultrasound (US) imaging is commonly used to assist in the diagnosis and interventions of spine diseases, while the standardized US acquisitions performed by manually operating the probe require substantial experience and training of sonographers. In this work, we propose a novel dual-agent framework that integrates a reinforcement learning (RL) agent and a deep learning (DL) agent to jointly determine the movement of the US probe based on the real-time US images, in order to mimic the decision-making process of an expert sonographer to achieve autonomous standard view acquisitions in spinal sonography. Moreover, inspired by the nature of US propagation and the characteristics of the spinal anatomy, we introduce a view-specific acoustic shadow reward to utilize the shadow information to implicitly guide the navigation of the probe toward different standard views of the spine. Our method is validated in both quantitative and qualitative experiments in a simulation environment built with US data acquired from 17 volunteers. The average navigation accuracy toward different standard views achieves 5.18mm/5.25deg and 12.87mm/17.49deg in the intra- and inter-subject settings, respectively. The results demonstrate that our method can effectively interpret the US images and navigate the probe to acquire multiple standard views of the spine.

연구 동기 및 목표

• 초음파 촬영사의 인지적 및 신체적 부담을 줄이기 위해 표준 척추 초음파 영상 촬영을 자율적으로 수행할 수 있도록 유도한다.
• 실시간 영상 해석과 정밀한 운동 계획이 요구되는 의료 초음파 분야에서 로봇 프로브 주행 문제를 해결한다.
• 환자 간 해부학적 변동성이 존재하는 상황에서도 주행 정확도와 내성적 안정성을 향상시킨다.
• 실제 초음파 데이터를 활용해 프로브-조직 상호작용을 현실적으로 모델링하는 시뮬레이션 환경을 개발한다.
• 일반적으로 忽시되는 초음파 음영 정보를 작업 특화 보상 신호로 통합하여 프로브 주행을 목표 척추 영상 영역으로 암묵적으로 유도한다.

제안 방법

• 실시간 B모드 초음파 영상 기반으로 6-자유도 로봇 초음파 프로브의 운동을 종합적으로 제어하는 딥 강화학습(RL) 에이전트를 훈련시킨다.
• 척추 초음파 영상에 자연스럽게 존재하는 음영을 활용해, 영상 특화 음영 보상(ASR)을 도입하여 RL 주행의 암묵적 가이드라인으로 활용한다.
• 미리 훈련된 딥러닝(DL) 에이전트가 실시간으로 초음파 영상에서 표준 영상 영역(PSL, PSAP, TSP)을 인식하여 피드백을 제공하고, 함께 프로브 운동을 결정한다.
• 이중 에이전트 프레임워크는 안전 제약 조건 하에 RL 에이전트가 주행 보상을 수신하고, DL 에이전트가 영상 인식 피드백을 제공하는 협업 주행 워크플로우를 사용한다.
• 17명의 자발적 기부자로부터 확보한 실제 초음파 데이터를 기반으로 실시간 상태 및 행동 공간을 갖춘 시뮬레이션 환경을 구축하였다.
• RL 에이전트는 최근 4개의 초음파 프레임을 스택하여 시간적 동역학을 의사결정에 통합한다.

실험 결과

연구 질문

• RQ1 실시간 초음파 영상만을 사용하여 이중 에이전트 RL-DL 프레임워크가 자율적으로 표준 척추 영상 촬영을 효과적으로 유도할 수 있는가?
• RQ2 영상 특화 음영 정보를 통합함으로써 척추 초음파 촬영의 주행 정확도와 내성적 안정성이 어떻게 향상되는가?
• RQ3 제안된 프레임워크는 해부학적 변동성이 존재하는 다양한 환자 간에서 얼마나 잘 일반화되는가?
• RQ4 RL과 DL 에이전트 간의 협업이 단독 RL 에이전트에 비해 주행 성능을 어떻게 향상시키는가?
• RQ5 실제 초음파 데이터 기반의 시뮬레이션 환경이 로봇 초음파 주행 정책의 훈련 및 검증을 효과적으로 지원할 수 있는가?

주요 결과

• 제안된 프레임워크는 피험자 내 설정에서 평균 주행 정확도가 5.18 mm 및 5.25°로 높은 정밀도를 보이며, 통제된 조건에서의 정밀한 성능을 입증한다.
• 더 도전적인 피험자 간 설정에서는 평균 주행 정확도가 12.87 mm 및 17.49°로 나타나, 해부학적 변동성에도 불구하고 뛰어난 내성적 안정성을 보인다.
• 영상 특화 음영 보상의 통합은 이 신호 없이 작동하는 기준 RL 에이전트에 비해 주행 성능을 크게 향상시킨다.
• 이중 에이전트 협업 주행 워크플로우는 정확도와 효율성을 모두 향상시키며, 최종 정지 위치에서의 수렴 성능 향상과 감소된 자세 오차를 통해 이를 입증한다.
• 시뮬레이션 환경은 실제 초음파 촬영 동역학을 효과적으로 재현하여 주행 정책의 훈련 및 평가에 효과적으로 기여한다.
• 본 방법은 임상 적용 잠재력을 보이며, 다양한 환자 해부학적 특성에 대한 일반화는 여전히 더 큰 데이터셋이 필요로 하는 도전 과제로 남아 있다.