[논문 리뷰] Robotic Navigation Autonomy for Subretinal Injection via Intelligent Real-Time Virtual iOCT Volume Slicing

Shervin Dehghani, Michael Sommersperger외 7명|PubMed|2023. 01. 17.

Retinal and Macular Surgery참고 문헌 37인용 수 5

한 줄 요약

이 논문은 실시간 내시적 산소화단층촬영(iOCT) 볼륨 처리를 통한 자율 로봇 망막하 주입을 위한 엔드 투 엔드 프레임워크를 제시한다. 인공지능 기반의 가상 B-스캔(2차원 절편)을 도입함으로써, 빠른 3차원 기구 자세 추정 및 온라인 정렬을 가능하게 하여, 돼지 눈에서의 이식 전 모델에서 30μm 이내의 정확도를 달성한다.

ABSTRACT

In the last decade, various robotic platforms have been introduced that could support delicate retinal surgeries. Concurrently, to provide semantic understanding of the surgical area, recent advances have enabled microscope-integrated intraoperative Optical Coherent Tomography (iOCT) with high-resolution 3D imaging at near video rate. The combination of robotics and semantic understanding enables task autonomy in robotic retinal surgery, such as for subretinal injection. This procedure requires precise needle insertion for best treatment outcomes. However, merging robotic systems with iOCT introduces new challenges. These include, but are not limited to high demands on data processing rates and dynamic registration of these systems during the procedure. In this work, we propose a framework for autonomous robotic navigation for subretinal injection, based on intelligent real-time processing of iOCT volumes. Our method consists of an instrument pose estimation method, an online registration between the robotic and the iOCT system, and trajectory planning tailored for navigation to an injection target. We also introduce <i>intelligent virtual B-scans</i>, a volume slicing approach for rapid instrument pose estimation, which is enabled by Convolutional Neural Networks (CNNs). Our experiments on ex-vivo porcine eyes demonstrate the precision and repeatability of the method. Finally, we discuss identified challenges in this work and suggest potential solutions to further the development of such systems.

연구 동기 및 목표

• 내시적 산소화단층촬영(iOCT) 영상과 함께 실시간으로 작동하는 자율 로봇 주입을 가능하게 하기 위해.
• 로봇 기구와 iOCT 볼륨 간의 높은 데이터 처리 속도와 동적 시스템 정렬 문제를 해결하기 위해.
• 3차원 iOCT 처리 복잡도를 줄이기 위해 기구에 맞춰 정렬된 가상 B-스캔을 생성하여 효율적인 자세 추정을 가능하게 하기 위해.
• 수술의사의 개입을 포함한 제어와 자동 경로 계획 및 실행을 통합하기 위해.
• 실제 수술 조건을 반영한 이식 전 돼지 눈 모델에서 정밀성과 반복성을 입증하기 위해.

제안 방법

• 수술의사의 개입을 포함한 워크플로우를 제안하여 로봇 제어, iOCT 볼륨 수집 및 실시간 처리를 통합한다.
• 기구에 맞춰 정렬된 2차원 절편인 '지능형 가상 B-스캔'을 도입하여 3차원 자세 추정을 단순화한다.
• 가상 B-스캔 내 기구 및 조직 구조의 실시간 2차원 세분화를 위해 합성곱 신경망(CNN)을 활용한다.
• 기구 자세 피드백과 고정점 마커를 사용하여 로봇 시스템과 iOCT 볼륨 간의 온라인 정렬을 수행한다.
• 실시간 기구 자세와 목표 지점 선택 기반으로 경로 계획을 수행하며, 초기 실험에서는 이동 운동만을 적용한다.
• 실행 중에는 고정 속도의 로봇 운동 프로파일을 사용하며, 향후 확장성을 고려해 동적 속도 조절이 가능하도록 설계되어 있다.

Figure 1: Overview of the proposed system, consisting of an iOCT Microscope (a), which is used for volume acquisition and data transmission to the computation unit (b). A following step enables the surgeon can choose a target point for applying an injection. All the necessary computations are applie

실험 결과

연구 질문

• RQ1 3차원 iOCT 데이터의 실시간 처리가 망막하 주입을 위한 정확하고 반복 가능한 로봇 주행을 가능하게 할 수 있는가?
• RQ2 동적으로 선택된 가상 B-스캔의 2차원 처리를 통해 3차원 기구 자세 추정을 효율적으로 근사화할 수 있는가?
• RQ3 지능형 가상 B-스캔과 온라인 정렬에 의해 유도된 로봇 시스템의 목표 지정 정확도는 얼마인가?
• RQ4 조직 변형은 주행 성능에 어떤 영향을 미치며, 실시간 데이터 확보는 정확도 유지에 어떤 역할을 하는가?
• RQ5 iOCT와 로봇 시스템의 통합은 망막 수술의 임상적 적용에 충분히 강력하고 효율적인가?

주요 결과

• 목표 지점으로의 주입 시 평균 목표 오차가 24±5μm를 기록하여 높은 정밀성을 입증하였다.
• 망막 내부 목표 지점으로의 주입 시 평균 오차는 32±4μm였으며, 더 깊은 망막층에서 약간의 정확도 저하가 관찰되었다.
• 실험 전반에 걸쳐 오차 분포는 일관된 성능을 보였으며, 대부분의 바늘 끝이 목표 지점에서 30μm 이내에 위치하였다.
• 공기 중 실험에서는 이식 전 조직에서보다 낮은 오차를 기록하여, 조직 변형과 기구-조직 상호작용이 정확도에 영향을 준다는 것을 시사하였다.
• 지능형 가상 B-스캔의 사용은 계산 복잡도를 크게 감소시켜 고속 iOCT 데이터율에도 불구하고 실시간 처리를 가능하게 하였다.
• 이 프레임워크는 굽은 기구에도 적응 가능하며, 향후 연구에서 RCM 기반의 회전 및 동적 속도 제어를 포함할 수 있도록 확장 가능하다.

Figure 2: The proposed workflow follows volume processing and visualization (a), planning (b) and execution (c) stages.