[논문 리뷰] Towards Safer Robot-Assisted Surgery: A Markerless Augmented Reality Framework

Ziyang Chen, Laura Cruciani외 7명|arXiv (Cornell University)|2023. 09. 14.

Augmented Reality Applications인용 수 9

한 줄 요약

본 논문은 수술 중 화면에 수술 전 혈관 모델을 시각화하고 로봇 기구에 대한 최소 거리 탐지를 수행하기 위해 스테레오 재구성과 분할을 융합하는 마커 없는 AR 프레임워크를 제안하며, 다 빈치 리서치 키트(da Vinci Research Kit)에서 사용자 테스트를 통해 검증되었습니다.

ABSTRACT

Robot-assisted surgery is rapidly developing in the medical field, and the integration of augmented reality shows the potential of improving the surgeons' operation performance by providing more visual information. In this paper, we proposed a markerless augmented reality framework to enhance safety by avoiding intra-operative bleeding which is a high risk caused by the collision between the surgical instruments and the blood vessel. Advanced stereo reconstruction and segmentation networks are compared to find out the best combination to reconstruct the intra-operative blood vessel in the 3D space for the registration of the pre-operative model, and the minimum distance detection between the instruments and the blood vessel is implemented. A robot-assisted lymphadenectomy is simulated on the da Vinci Research Kit in a dry lab, and ten human subjects performed this operation to explore the usability of the proposed framework. The result shows that the augmented reality framework can help the users to avoid the dangerous collision between the instruments and the blood vessel while not introducing an extra load. It provides a flexible framework that integrates augmented reality into the medical robot platform to enhance safety during the operation.

연구 동기 및 목표

• 수술 중 기구-혈관 충돌로 인한 출혈을 줄여 더 안전한 로봇 보조 수술을 촉진한다.
• 외부 마커 없이 수술 전 모델을 수술 중 시야에 오버레이하는 마커 없는 AR 프레임워크를 개발한다.
• 정확한 3D 혈관 재구성을 위해 스테레오 재구성 네트워크와 분할 네트워크의 조합을 평가한다.
• dVRK와 10명의 참가자를 대상으로 드라이 랩 림프절 절제 연구를 통해 사용성 및 실용성을 보여준다.

제안 방법

• 스테레오 정렬된 내시경 이미지를 입력으로 사용하여 스테레오 재구성 네트워크에서 시차를 추정하고 3D 공간으로 재투사한다.
• 분할 네트워크를 사용하여 혈관의 이진 마스크를 생성하고 관심 영역을 분리한다.
• 수술 전 혈관 모델(Blender 기반 메쉬)을 글로벌 RANSAC에 의해 수술 중 3D 혈관 점군과 등록한 다음 로컬 ICP로 정교화한다.
• 카메라 내부 매개변수와 핸드-아이 트랜스포를 사용하여 등록된 수술 전 모델을 수술 중 이미지에 투영하여 AR 시각화를 구현한다.
• 빠른 최근접 이웃 접근법을 사용하여 기구 자세(dVRK 자이네틱스)와 재구성된 혈관 사이의 최소 거리를 계산하고 AR 뷰에 거리 게이지와 색상 신호로 반영한다.
• 정확도와 속도에서 최적의 조합을 식별하기 위해 여러 스테레오 방법과 분할 모델을 평가한다.

Figure 1: The architecture of the markerless augmented reality framework. The image pair is fed into two different networks to estimate the disparity map and the binary mask. Then, the disparity pixels that belong to the blood vessel can be reprojected to generate the 3D intra-operative blood vessel

실험 결과

연구 질문

• RQ1 어떤 스테레오 재구성 모델이 엔도스캐닉 AR 맥락에서 작업 특성 미세조정 없이도 정확한 깊이를 제공하는가?
• RQ2 Segment Anything와 같은 제로샷 접근을 포함하여 엔도스캐닉 씬에서 수술 중 혈관을 가장 잘 구분하는 분할 모델은 무엇인가?
• RQ3 마커 없는 AR 프레임워크가 외과 수술 중 수술 전 모델을 수술 중 혈관과 신뢰성 있게 등록하고 실시간 최소 거리 안전 신호를 가능하게 할 수 있는가?
• RQ4 이 AR 프레임워크를 dVRK 기반 워크플로에 통합했을 때 계산 성능 및 사용성에 미치는 영향은 무엇인가?

주요 결과

모델	MeAE (mm)	MAE (mm)	RMSE (mm)	절대 상대 오차	제곱 상대 오차	δ<1.25^1	δ<1.25^2	δ<1.25^3	시간 (초)
HybridStereoNet	46.98±19.32	54.30±16.86	73.66±13.79	0.67±0.08	70.27±18.33	0.14±0.07	0.24±0.12	0.39±0.21	0.52±0.01
ACVNet	8.43±13.46	17.88±12.24	28.26±14.52	0.20±0.12	10.12±8.65	0.69±0.19	0.72±0.19	0.77±0.20	0.42±0.01
STTR	3.82±6.81	15.65±10.24	42.26±22.28	0.22±0.20	31.88±33.58	0.83±0.18	0.88±0.14	0.94±0.06	0.43±0.00
ELAS	3.81±3.14	9.05±8.51	18.86±19.72	0.13±0.16	11.73±29.87	0.87±0.18	0.95±0.07	0.98±0.04	0.05±0.01
GraftNet	1.27±0.55	8.23±4.59	35.42±19.45	0.11±0.08	23.43±21.61	0.96±0.03	0.96±0.03	0.97±0.02	0.33±0.00
Cascade-Stereo	1.80±0.67	5.53±3.00	13.15±6.72	0.06±0.02	2.15±1.72	0.93±0.04	0.96±0.03	0.98±0.02	0.34±0.00
PSMNet	1.43±0.61	3.43±1.94	7.13±4.81	0.04±0.02	0.72±1.05	0.97±0.03	0.98±0.02	0.99±0.02	0.40±0.01
GwcNet	1.77±0.56	3.06±1.25	5.22±2.77	0.04±0.01	0.35±0.39	0.98±0.03	1.00±0.01	1.00±0.00	0.31±0.01
CFNet	1.29±0.49	3.04±2.13	6.99±7.21	0.04±0.05	2.01±6.16	0.98±0.02	0.99±0.02	1.00±0.01	0.29±0.00
W-Stereo-Disp	1.35±0.41	3.02±1.38	6.59±4.35	0.04±0.02	0.71±1.04	0.98±0.03	0.99±0.02	1.00±0.01	0.42±0.00
LEAStereo	1.44±0.82	2.96±1.28	6.29±2.60	0.04±0.01	0.58±0.44	0.98±0.02	1.00±0.01	1.00±0.01	0.52±0.01
IGEV-Stereo	1.12±0.47	2.59±1.18	5.64±3.10	0.03±0.01	0.40±0.36	0.98±0.02	1.00±0.01	1.00±0.00	0.32±0.00
CREStereo	1.32±0.71	2.38±1.58	4.18±2.90	0.03±0.01	0.23±0.27	0.99±0.01	1.00±0.00	1.00±0.00	1.14±0.01
HSM	1.10±0.60	2.05±1.17	3.72±2.08	0.02±0.01	0.17±0.17	0.99±0.02	1.00±0.00	1.00±0.00	0.03±0.00

• 마커 없는 AR 프레임워크는 수술 중 혈관에 수술 전 모델을 시각화하고 기구와 혈관 사이의 최소 거리 안전 탐지를 가능하게 한다.
• 평가된 여러 스테레오 방법 중 일부 모델은 SERV-CT에서 낮은 깊이 오차를 달성하며 추론 시간이 다르게 나타났으며, PSMNet, GwcNet, CFNet, HSM 등의 방법이 강력한 성능을 보이고 ELAS는 경우에 따라 매우 빠른 추론 속도와 함께 경쟁력 있는 정확도를 제공한다.
• 분할 평가에서 여러 모델이 높은 Dice 및 정확도를 보였으며, Segment Anything은 자체 제작 데이터에서 매우 높은 Dice(0.9661)와 높은 정확도(0.9957)를 달성하였으나 PR 커브 면적 및 런타임은 다양하다.
• RANSAC 기반의 글로벌 등록 후 ICP를 통해 수술 전 메쉬를 수술 중 혈관 점군에 효과적으로 정렬할 수 있다.
• 텐 명의 피험자를 대상으로 한 드라이 랩 림프절 절제에서 AR 보조 시각화와 거리 게이지가 안전 신호를 향상시키고 지각 부하를 추가로 증가시키지 않았다.

Figure 2: The presentation of the dVRK system in a dry lab. In (a), the user is operating the MTMs and observing the surgical scenes using HRSV at the leader side, and the surgical instruments mounted on the PSMs are performing the operation following the remote control of the user at the follower s