[논문 리뷰] Towards Autonomous Eye Surgery by Combining Deep Imitation Learning with Optimal Control

Ji Woong Kim, Peiyao Zhang외 3명|PubMed|2020. 11. 16.

Soft Robotics and Applications인용 수 8

한 줄 요약

이 논문은 망막 미수술에서 자율 주행을 가능하게 하기 위해 딥 일임레이션 학습과 최적 제어를 융합한 하이브리드 프레임워크를 제안한다. 시각 기반 네트워크를 사용해 2차원 사용자 클릭으로부터 3차원 목표 위치를 예측하고, 미분 동적 프로그래밍을 통해 안전하고 최적의 경로를 생성하여 0.072mm의 수미밀리미터 이내 정확도(수평 오차)를 달성하고 인간 외과의사의 떨림(0.180mm)을 초월한다. 다양한 눈 펌프 및 예측되지 않은 물체에서도 안전 제약 조건을 유지한다.

ABSTRACT

During retinal microsurgery, precise manipulation of the delicate retinal tissue is required for positive surgical outcome. However, accurate manipulation and navigation of surgical tools remain difficult due to a constrained workspace and the top-down view during the surgery, which limits the surgeon's ability to estimate depth. To alleviate such difficulty, we propose to automate the tool-navigation task by learning to predict relative goal position on the retinal surface from the current tool-tip position. Given an estimated target on the retina, we generate an optimal trajectory leading to the predicted goal while imposing safety-related physical constraints aimed to minimize tissue damage. As an extended task, we generate goal predictions to various points across the retina to localize eye geometry and further generate safe trajectories within the estimated confines. Through experiments in both simulation and with several eye phantoms, we demonstrate that our framework can permit navigation to various points on the retina within 0.089mm and 0.118mm in xy error which is less than the human's surgeon mean tremor at the tool-tip of 0.180mm. All safety constraints were fulfilled and the algorithm was robust to previously unseen eyes as well as unseen objects in the scene. Live video demonstration is available here: https://youtu.be/n5j5jCCelXk.

연구 동기 및 목표

• 상향 시각에서의 깊이 인식 한계로 인한 맹막 미수술에서의 정밀한 도구 주행 문제를 해결하기 위해.
• 시각적 단서를 활용해 외과의사의 경험에 의존하는 것을 줄이고 목표 예측 및 경로 계획을 자동화하기 위해.
• 망막 충돌 회피 및 흉막 점 이격 등 물리적 제약 조건(예: 흉막 점 이격)을 강제하여 수술의 안전성을 확보하기 위해.
• 시각 데이터로부터 맹막 기하학을 재구성하여 혈관 따라가기와 같은 확장된 작업을 가능하게 하기 위해.
• 눈 해부학적 구조 및 영상 조건의 변화, 그리고 예측되지 않은 물체에 대한 내성 확보를 위해 검증하기 위해.

제안 방법

• 딥 일임레이션 학습 네트워크는 2차원 상향 단일 영상 입력과 사용자가 지정한 클릭을 기반으로 3차원 상대 목표 위치(거리 및 방향)를 예측한다.
• 네트워크는 전문가의 시연 데이터를 사용해 훈련되며, 도구 그림자 동역학을 깊이 정보의 단서로 활용하여 시각 입력과 2차원 목표 클릭을 3차원 공간 예측으로 매핑한다.
• 미분 동적 프로그래밍(Differential Dynamic Programming, DDP) 기반 최적 제어 프레임워크는 예측된 목표 지점으로 향하는 부드럽고 안전한 경로를 생성하며, 흉막 포트에서의 도구축 이격을 최소화한다.
• 흉막 제약 조건은 도구축이 흉막 포트에서 수평으로 이격되는 것을 방지하기 위해 비용 함수를 통해 강제한다.
• 다양한 맹막 상의 점들에서의 목표 예측을 통합함으로써 맹막 기하학을 재구성하고, 추정된 눈 경계 내에서 안전한 주행을 가능하게 한다.
• 혈관 따라가기 작업을 위해 경로는 추정된 맹막 표면에서 0.2mm 위에 유지되도록 제약을 둔다.

실험 결과

연구 질문

• RQ1 단일 영상에서의 2차원 사용자 클릭으로부터 맹막 상의 3차원 목표 위치를 정확하게 예측할 수 있는가?
• RQ2 최적 제어가 흉막 점 이격 및 맹막 충돌 회피와 같은 물리적 제약 조건을 준수하면서 안전하고 부드러운 경로를 생성할 수 있는가?
• RQ3 주행 도중 예측되지 않은 물체(예: 수술용 집게)가 존재할 경우 시스템의 성능은 어떻게 되는가?
• RQ4 시각 데이터로부터 얼마나 정확하게 맹막 기하학을 재구성할 수 있는가? 이는 자율 주행 및 혈관 따라가기 작업을 가능하게 하는가?
• RQ5 이 프레임워크는 인간 외과의사의 떨림보다 더 높은 정밀도로 도구 끝의 위치를 제어할 수 있는가?

주요 결과

• 퍼피어 실험에서 맹막 상의 50개 정의된 점을 향해 주행할 때 평균 오차가 수평 방향에서 0.072mm, 수직 방향에서 0.130mm를 기록하였다.
• 간섭 요소로 집게가 존재할 경우 오차는 수평 0.089mm, 수직 0.118mm로 약간 증가하였으며, 이는 예측되지 않은 물체에 대한 강건성을 입증한다.
• 눈 기하학 추정 결과 중심 위치 오차는 수평 0.53mm, 수직 0.084mm, 축 방향 0.292mm이며, 반지름 추정 오차는 0.152mm였다.
• 혈관 따라가기 작업에서 경로 추적 오차는 수평 0.002mm, 수직 0.003mm, 축 0.006mm였고, 평균 흉막 오차는 0.059mm로 높은 정밀도와 안전성을 확인하였다.
• 모든 경로가 안전 제약 조건을 만족하였으며, 모든 작업에서 최대 평균 흉막 오차는 0.704mm 이하였고, 안전 기준 이내였다.
• 시뮬레이션 결과에서 주행 오차는 0.119mm로 나타났으며, 이상적인 조건이지만 실제 적용 가능성은 확인되었다.